A.I. 日报
4块AMD R9700搭建本地大模型推理方案：总价1.8万美元
一名用户分享为10人初创公司搭建的本地推理配置：总价1.8万美元，含Threadripper 9970X、128GB DDR5 ECC内存、4块AMD Radeon R9700 AI Pro（共128GB显存），通过Radiance分支服务Qwen 3.8等模型，在16路并发下预填充吞吐约6.3-6.8k tok/s，解码900 tok/s。
Qwen 3.8
6 篇报道Qwen 3.8 是阿里巴巴通义千问系列的大模型。近期社区讨论集中在本地部署与实际使用：有人用 4 块 AMD Radeon R9700 搭建约 1.8 万美元的推理机器，在 16 并发下达到约 900 tok/s 解码；有用户在 RTX 3090 上以 4-bit 量化、100K 上下文连续运行 27B 版本 63 小时、超过 5000 万 token；也有帖子称 Saluki 27B 以约七分之一规模达到其约 96% 的性能。
相关话题
- AMD1
- Radeon R9700 AI Pro1
- Radiance1
- Threadripper 9970X1
- Saluki 27B1
- Muse Spark 1.31
- Alibaba1
- GLM 5.31
- Hugging Face1
- RTX 30901
- Gemma 41
- Ollama1
Saluki 27B：以约七分之一规模达到Qwen 3.8九成性能
LocalLLaMA社区有用户发帖介绍Saluki 27B模型，称其以约七分之一的规模达到Qwen 3.8约96%的性能，并向社区征集使用反馈。
用户称无审查模型减少工作麻烦
一名用户表示，Qwen 3.8 和 Muse Spark 1.3 常拒绝执行任务，改用微调的无审查模型后工作更顺畅。该用户称性能下降不明显，并询问他人是否有类似经历。
阿里巴巴放弃35B A3B模型？
LocalLLaMA用户发帖质疑阿里巴巴是否已放弃35B A3B模型，指出Qwen 3.8未推出新MoE模型，阿里在云栖大会也未发布小型MoE模型。
社区实验：Qwen 3.8 27B 在 RTX 3090 上跑 63 小时
一位Reddit用户将量化到4bit的 Qwen 3.8 27B 在 RTX 3090 上以100K上下文窗口连续运行63小时（超5000万代币）尝试攻克黎曼假设，未解出答案但记录了内部记忆与策略并开源数据在 Hugging Face。
在Mac上用Ollama与sbx搭建OpenCode本地LLM开发环境
文章介绍在Mac上用Ollama、OpenCode和Docker沙箱(sbx)搭建本地LLM开发环境，推荐Qwen 3.8与Gemma 4模型并给出安装与配置要点。
已经到底了