开源实验:在SNES上运行ChatGPT式聊天程序
Benj Edwards设计、AI代理编码的SNES实验项目,利用Super FX 2芯片运行约220万参数的小模型,逐词生成回答;可选版加载15万篇维基百科开头句作为“事实书”。作者强调其并非实用助手,常会出错。
gpt-oss-120b 是 OpenAI 发布的开源权重混合专家(MoE)大模型,常被开发者用于本地推理测试。近期报道集中在它的实际部署表现:一位开发者在 32GB M1 Max 上把专家权重放在 SSD 按需加载,在 16 GiB 内存预算内跑出平均 7.84 tokens/s;Nvidia DGX Spark 在 Linux 下因加密固件限制,推理速度从 65.4 降到 13.9 tokens/s;另有论文测算自托管成本为每百万输出 token 0.12 至 0.35 美元,A100 比 H100 更划算。
Benj Edwards设计、AI代理编码的SNES实验项目,利用Super FX 2芯片运行约220万参数的小模型,逐词生成回答;可选版加载15万篇维基百科开头句作为“事实书”。作者强调其并非实用助手,常会出错。
一位开发者将MoE模型的专家权重存于SSD,按需加载,在32GB内存的M1 Max上以16GiB进程内存上限运行gpt-oss-120b和Qwen3.5-122B-A10B。在gpt-oss-120b上平均7.84 token/s,比TUFF快约36%,且受外部内存压力影响更小。
测试显示,在Linux下运行DGX Spark笔记本时,因电源管理固件加密且仅Windows驱动可解密,GPU频率被限制在约780MHz,而Windows可达2.2GHz。GPT-OSS-120B推理速度因此从65.4 tokens/s降至13.9。目前WSL可保持满性能,彻底修复需英伟达介入。
一位用户在r/LocalLLaMA上对比发现,同一IQ3_S模型在llama.cpp中生成连贯回答,而在其他“奇迹引擎”中约1万token后陷入重复循环。这凸显了推理框架对本地大模型长文本输出稳定性的关键影响。
论文指出,开放权重模型推理成本约为同类闭源模型的五分之一,自托管可降至每百万输出token 0.12至0.35美元。在gpt-oss-120b上A100比H100更便宜,A100五年租赁价格保持一个月价格的80%,表明旧GPU家族仍有多年盈利寿命。