8b完全不可用，至少要部署32b才算基本能用，但是32b至少得4070显卡，再加128G内存，不然要思考很久很久

8B我压根就不想装！

橘霓爆 8b完全不可用，至少要部署32b才算基本能用，但是32b至少得4070显卡，再加128G内存，不然要思考很久很久

训练个适合自己的模型是个大趋势，思考久就久一些，不行夜间挂机，训练好了完全可以成为生产力工具

我也装上了 2070  +32G  +12490 ，这东西就只能问问题吗？不能让生成图片吗？

小体量的只适合结合知识库做专项服务。

还得70B啊😁，最低也得32B

ply 还得70B啊😁，最低也得32B

32B还可以，70B貌似单卡要运行好有点难。

darksidedxp 我也装上了 2070 +32G +12490 ，这东西就只能问问题吗？不能让生成图片吗？

7B就可以生成图片

这个b啥意思

你没有看到你下载的这个模型的名字全称是什么吗？
可能你用七b的都好一点，8b的是用r1蒸馏的llma，你以为你下载的是r1呀？

橘霓爆 8b完全不可用，至少要部署32b才算基本能用，但是32b至少得4070显卡，再加128G内存，不然要思考很久很久

air M3 24G内存就可以跑 每秒4token

在线版那个体量，本地的话是比不了的，本地部署只系作为辅助用途而已。何必这么纠结。

8B问问知识就好了，没什么创意和深度思考

110119diDI 8B问问知识就好了，没什么创意和深度思考

8b问问题也不行，逻辑好乱
我昨天测试了好几个问题，都是垃圾回复。你可以试一下，“请介绍一下《西游记》这部作品”，他回答出来说，是金庸写的奇幻小说。所以，至少得32b才算可用。

橘霓爆 8b问问题也不行，逻辑好乱 我昨天测试了好几个问题，都是垃圾回复。你可以试一下，“请介绍一下《西游记》这部作品”，他回答出来说，是金庸写的奇幻小说。所以，至少得32b才算可用。

这和基础的信息库的污染有关系，我这边查到的是“《西游记》的主要作者是蒲松龄，他基于吴承道的《大唐西域记》进行了改编。”联系到之前看的STRAWBERRY有几个r字母的问题，有的模型里就是有2个r这么个“标准答案”
😓

装个网页端，能选择联网 
想问这种问题的时候联网  想用基本问题的时候单机   我是这么想哈

我整的1.5b在用，又在整1.5b的qwen，以及准备整7b的qwen-distill，电脑太差不敢跑大的。
其实同等机型上越小越快，大的没意义，取决于你的应用场景。

刚才试了一个硅基流动的32B和70B的版本，好像回答问题还不错，另外，昨天加了一个纯cpu加内存本地布署R1的群，成本不高可以接受，不过估计噪音和用电太厉害了，要被老婆打的……

在线版也不咋地,很多东西都是聊点别的...我让他帮写个方案都让我聊点别的,也不知道自己怎么触碰到自己的敏感带了,我还是用GPT吧...