昨天晚上试了一下本地部署大模型聊天ai,发现我的垃圾手机跳一跳能够到4b参数的千问,八代i5笔记本跳一跳能够到14b参数的千问,当然都是重度量化过的
大显存显卡太贵(更大规模的模型估计要24G显存),不是我这种平民业余玩家能买得起的
所以我突发奇想,能不能买那种框框多的垃圾企业级CPU,32个框框估计勉强软解34b或者70b的模型
然后内存想加就加,也比显存便宜
买买买,双 128 核 Epyc 走起