gpt-oss-120b

5 篇报道

gpt-oss-120b 是 OpenAI 发布的开源权重混合专家(MoE)大模型,常被开发者用于本地推理测试。近期报道集中在它的实际部署表现:一位开发者在 32GB M1 Max 上把专家权重放在 SSD 按需加载,在 16 GiB 内存预算内跑出平均 7.84 tokens/s;Nvidia DGX Spark 在 Linux 下因加密固件限制,推理速度从 65.4 降到 13.9 tokens/s;另有论文测算自托管成本为每百万输出 token 0.12 至 0.35 美元,A100 比 H100 更划算。

相关话题
已经到底了