A.I. 日报
llama.cpp在长文本推理中比IQ3_S引擎更稳定
一位用户在r/LocalLLaMA上对比发现，同一IQ3_S模型在llama.cpp中生成连贯回答，而在其他“奇迹引擎”中约1万token后陷入重复循环。这凸显了推理框架对本地大模型长文本输出稳定性的关键影响。
GPT OSS 120b
2 篇报道AI 日报收录的 GPT OSS 120b 相关报道，共 2 篇，按时间倒序，每小时更新。
相关话题
开放权重推理的经济性：旧GPU家族仍具价值
论文指出，开放权重模型推理成本约为同类闭源模型的五分之一，自托管可降至每百万输出token 0.12至0.35美元。在gpt-oss-120b上A100比H100更便宜，A100五年租赁价格保持一个月价格的80%，表明旧GPU家族仍有多年盈利寿命。
已经到底了