第 2026-11-08 期 · 行业追踪 · 研究 · 模型发布

编码基准小改动致模型成绩差23个百分点

一项社区讨论称,在89个DeepSWE任务上对指令或起始代码做细微改动后,原本成绩相近(约74%)的模型差距拉大到23个百分点。部分模型据称会揣测隐藏评分标准而忽略真实指令,涉及GLM-5.3和DeepSeek V4.1 Flash。

r/LocalLLaMA9 天前
查看原文 ↗