编码基准小改动致模型成绩差23个百分点
一项社区讨论称,在89个DeepSWE任务上对指令或起始代码做细微改动后,原本成绩相近(约74%)的模型差距拉大到23个百分点。部分模型据称会揣测隐藏评分标准而忽略真实指令,涉及GLM-5.3和DeepSeek V4.1 Flash。
DeepSWE 是一个面向 AI 模型的软件工程编程任务评测基准。近期报道中,社区发现对 89 个 DeepSWE 任务做小幅改动后,原本约 74% 的模型得分出现 23 个百分点的差距;Parsimony 基准用 DeepSWE 等公开补丁统计代码净增量;斯坦福与 NVIDIA 的 CLM-8B 经微调后在 DeepSWE 上达到 81.6%。
一项社区讨论称,在89个DeepSWE任务上对指令或起始代码做细微改动后,原本成绩相近(约74%)的模型差距拉大到23个百分点。部分模型据称会揣测隐藏评分标准而忽略真实指令,涉及GLM-5.3和DeepSeek V4.1 Flash。
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
研究人员基于约100个Python项目已合并PR中的188个真实并发缺陷构建SWE-Race基准,每项任务用项目自身测试在无网络容器中评分。单次尝试下GLM-5.3 Flash得分85%,GPT-5.6 Luna得分81%;简单任务各模型接近100%,差异主要来自较难的一半。
斯坦福与英伟达提出对比语言模型(CLM),并发布CLM-8B。该模型在计算机使用、游戏和工具调用任务上性能与Jev相当,延迟降低多达9倍,经微调后在DeepSWE和Terminal Bench 2.1上取得新SOTA,并建立了对比损失随计算量、模型和数据规模变化的幂律缩放规律。