方法之一：
先安装Ollama  再在Model里选 DeepSeek-R1  版本的话 就看你内存和显存大小，  比如6G显存的一般选7b
再安装Docker，Docker里安装 Open WebUI来使用图文交互界面

苹果可以集群计算，单机m1 16G可以5个tokens跑14B，cpu占用4核，内存gpu拉满

都5202年了，大模型还普遍不支持分布式计算吗？比如装10块4060来跑

4090的24G显存，可以流畅跑Q4精度的32b，但是Q5就有点吃力了，在往上就要用到内存了，速度大降；14b可以跑Q8_0精度，但跑不了F16完整精度；8b和以下的都能跑完整精度，但智商就受到比较大影响了……
32b的Q4精度表现还不错了，可惜再往上的70b，哪怕Q2精度都跑不动了，必须用到内存，慢的一批……

sakurachan 都5202年了，大模型还普遍不支持分布式计算吗？比如装10块4060来跑

服务器的大模型都是多块显卡、多台主机。
低性能显卡的分布式效果太差，还要面临更复杂的集成问题，没有几个人在这方面下功夫。

sghong 你这个感觉模型还是公共的把，我想搭建的是私有模型啊，通过一定程度的训练达到我的需求（当然，不一定能成功）

打算自己训练模型的话，2块4090必不可少，纯推理随意

玩的话直接调api就好了啊，不用本地gpu资源了，本地起大模型很贵的，而且不可能一直在那占着，部肯定能布，但如果你是要能用，为啥不建个账号用呢，1m token 才8分钱，而且限时免费，还是超大参数量的最强版

显卡一直高功耗挺伤显卡的

早上问了一下deepseek,回答是要运行好32B，需要一块A100,或者两块4090。
稍慢点么一块7900XTX也可以用。

真有钱，有这个配置玩游戏都拉满了

jianghan0303 真有钱，有这个配置玩游戏都拉满了

游戏拉满容易，想要AI拉满还真没这个钱……

也刚接触这方面，问一个a卡要比n卡差很多吗？比如弄块rx7700 xt能和n卡啥级别的显卡相比？

darksidedxp 也刚接触这方面，问一个a卡要比n卡差很多吗？比如弄块rx7700 xt能和n卡啥级别的显卡相比？

是的，AMD Radeon RX 7700 XT可以支持运行DeepSeek模型，但具体支持的模型规模和使用场景存在一定限制。以下是关键信息总结：

### 1. **支持的模型规模**
   - **RX 7700 XT显存容量为12GB**，根据AMD官方说明，该显卡最多支持运行蒸馏后的**DeepSeek-R1-Distill-Qwen-14B**模型。
   - 更高参数的模型（如32B、70B）需要更大的显存容量（如24GB以上）或多卡并行，因此需搭配更高端的显卡（如RX 7900 XTX或A100）。

### 2. **硬件与驱动要求**
   - **驱动与软件支持**：需安装AMD Adrenalin Edition 25.1.1及以上版本的驱动，并配合LM Studio等工具进行一键式安装和优化。
   - **PyTorch框架兼容性**：AMD ROCm平台已逐步支持RX 7000系列显卡的AI计算，但PyTorch对AMD显卡的支持仍处于“实验性”阶段，可能需要手动适配代码。

### 3. **性能与适用场景**
   - **推理效率**：在单卡推理场景下，RX 7700 XT可满足中小型模型（如14B参数以下）的本地部署需求，适用于文本生成、代码生成等轻量级任务。
   - **训练限制**：由于显存和计算单元的限制，该显卡不适合大规模模型训练，多卡互联效率也显著低于英伟达的NVLink技术。

### 4. **性价比与功耗考量**
   - **价格优势**：目前RX 7700 XT海外价格已降至约353美元（约合人民2500元），显存容量和光栅性能优于同价位的RTX 4060，但功耗较高（355W vs 英伟达显卡的更低功耗设计）。
   - **长期成本**：需考虑电费和多卡部署时的机架、散热成本。

### 5. **生态与开发者支持**
   - **工具链成熟度**：AMD的AI生态仍落后于英伟达的CUDA，例如Hugging Face模型移植需额外适配时间，且企业级支持较弱。
   - **未来潜力**：随着OpenXLA编译器的发展和PyTorch对非CUDA硬件的优化，AMD显卡的AI支持有望逐步提升。

### 总结
**适合使用RX 7700 XT运行DeepSeek的场景**：
- 个人开发者或中小型团队本地部署轻量级AI模型（如14B参数以下）。
- 预算有限且愿意投入时间进行生态适配的技术爱好者。

**不推荐场景**：
- 需要复现顶级论文或企业级大规模AI开发。
- 对即插即用和生态成熟度要求较高的用户。

若需进一步优化性能，建议结合Ryzen AI CPU（如Ryzen 8040系列）以提升端侧AI计算的效率。

darksidedxp 也刚接触这方面，问一个a卡要比n卡差很多吗？比如弄块rx7700 xt能和n卡啥级别的显卡相比？

deepseek的回答，我估计相当于12
G显存的4070吧

这几天看了一些B站的视频，感觉运行deepseek主要就靠显存十高带宽的内存，一般的机器哪怕上到4090或7900xtx运行32B也就封顶了，要70B以上可用的话就得大内存的mac pro或高带宽内存的服务器了。
    我还是现实一点，过几天电商正常了先弄个电脑上32B吧，玩的好的话后面也可以租用算力或买更好一些的设备。
    真不行至少我还有个拉满游戏的电脑对吧！

刚帮朋友配置了一台本地，m3 air 24G内存部署了32B，运行每秒4个token，很不错

之前看到的，随后存的

fragranse 之前看到的，随后存的

刚帮朋友跑了32b的macair M3 24GB内存版，实际还是看内存尺寸>=模型尺寸就可以跑了。每秒几个token性价比已经很高了。

otsuka88888 刚帮朋友跑了32b的macair M3 24GB内存版，实际还是看内存尺寸>=模型尺寸就可以跑了。每秒几个token性价比已经很高了。

苹果系统因为共享内存，内存带宽也高，相对简单，相信过几个月上市的m4版mac pro配置64G以上内存的话应该可以以较快速度运行70b,当然，价格也不便宜！

sghong 苹果系统因为共享内存，内存带宽也高，相对简单，相信过几个月上市的m4版mac pro配置64G以上内存的话应该可以以较快速度运行70b,当然，价格也不便宜！

mac可以集群分布式跑ai，文献参考github，exo，而且已经开源了。