https://pan.baidu.com/s/1CCPhQIhv_dWno4VlW8tJtw?pwd=qgg5
远景论坛上找到的。

预算两三万，，，大佬大佬。

2, 3万配个4090跑32B没啥问题的，不过没啥意思啊~
360好像是本地部署的最大的那个，都没有原生的效果好
有那钱，不如本地部署个Chat工具，对接DS的API，效果比你本地部署好的多

进站劣人 预算两三万，，，大佬大佬。

便宜的玩不转啊，我现在有4060的笔记本电脑，估计只能玩7B的把，我都懒得装，至少32B起把，最好能上70B的

一条大辉狼 2, 3万配个4090跑32B没啥问题的，不过没啥意思啊~ 360好像是本地部署的最大的那个，都没有原生的效果好 有那钱，不如本地部署个Chat工具，对接DS的API，效果比你本地部署好的多

你这个感觉模型还是公共的把，我想搭建的是私有模型啊，通过一定程度的训练达到我的需求（当然，不一定能成功）

sghong 你这个感觉模型还是公共的把，我想搭建的是私有模型啊，通过一定程度的训练达到我的需求（当然，不一定能成功）

你顶多在它的模型上微调哇，反正你配个4090跑个32B肯定没问题，有钱可以玩玩哇

32B-Q4用4070s+i5 12600ks试了一下，2.73tokens/秒速度（空白第一个对话速度）。
参数量越大推理肯定越好，Q4和Q8推理质量差距在5%-10%左右，感觉量化Q4就够了。

帮顶, 我也想试试, 同求

woyaodl 32B-Q4用4070s+i5 12600ks试了一下，2.73tokens/秒速度（空白第一个对话速度）。参数量越大推理肯定越好，Q4和Q8推理质量差距在5%-10%左右，感觉量化Q4就够了。

2.73tokens/秒速度已经到了几乎不可用了把，理论上其实上两块魔改的2080TI(22G）会比一块4090会好把，成本也低很多，不过我对矿卡没信心，也懒得折腾。

当然了，你的内存速度也可能是瓶颈。

32g内存，4070tis 运行32b-Q4还不错

wang1816 32g内存，4070tis 运行32b-Q4还不错

速度多少，测了吗

我2666v3+32G+2070s，ollama+open webui搭建，14b能跑，但是复杂点的问题得思考1分多钟。

刚开始玩，测试GPU和显存并没有跑满，还在研究怎么能优化点。

内存是4代是慢了些虽然64G，GPU负载设置到了刚好占满12G显存，没占用共享内存

woyaodl 内存是4代是慢了些虽然64G，GPU负载设置到了刚好占满12G显存，没占用共享内存

32B用12G显存应该不够啊

sghong 2.73tokens/秒速度已经到了几乎不可用了把，理论上其实上两块魔改的2080TI(22G）会比一块4090会好把，成本也低很多，不过我对矿卡没信心，也懒得折腾。 当然了，你的内存速度也可能 ...

就当是 300 baud 猫复古体验(

只是试试看，还是用API爽，不过对于要数学、科学推理发论文之类的人，资金还不够，反正晚上睡觉挂着呗

5月出的Project Digits不知道国内能不能买到，其实这玩意才最适合跑个人模型！

理论来说，只要内存够，什么都可以运行DeepSeek。看模型的文件大小，比如8G的，至少需要8X1.2=9.6G的内存。如果GPU内存够，就放到GPU里；如果CPU内存够，就放到CPU就行。所以树莓派都能运行。运行的核心都是llma.cpp，目前github上有多个平台的llma.cpp，既有N卡的CUDA版本，又有华为的CANN版本，CPU的x86和ARM都有。手机的算力比树莓派大，当然也能运行。要不我卖你一个旧手机，包教包会安装运行本地DeepSeek。

弄块9700xtx就能跑到25t/s