Radiance

4块AMD R9700搭建本地大模型推理方案：总价1.8万美元

一名用户分享为10人初创公司搭建的本地推理配置：总价1.8万美元，含Threadripper 9970X、128GB DDR5 ECC内存、4块AMD Radeon R9700 AI Pro（共128GB显存），通过Radiance分支服务Qwen 3.8等模型，在16路并发下预填充吞吐约6.3-6.8k tok/s，解码900 tok/s。