A.I. 日报
开源基准Parsimony衡量AI代码量而非解题率
新开源基准Parsimony不只看解题率和token成本，而是统计代码单元净增量，以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元，并扣除删除代码；因GPT-6和Claude 5.5尚无公开补丁，作者在少量任务上自测，结果不计入排名。
SWE-bench Verified
3 篇报道SWE-bench Verified 是用于评测 AI 编码智能体解决真实软件问题的基准测试集。近期相关讨论集中在评测方法本身：一篇论文在 SWE-bench Verified 与 Terminal-Bench 2.1 上比较了 176 组匹配设置，分析规划、动作空间和上下文管理三类框架组件的影响；开源 Parsimony 基准则统计 DeepSWE、SWE-bench Verified 和 Live 公开补丁中的净代码增量；另有文章讨论基准污染与去污报告的有效性。
相关话题
研究者称去污染报告无法解决基准污染，评估方须接手测试
一篇文章指出，实验室自审训练数据、发布去污染报告的做法无法根治基准污染：实验室自我核查、语料涉及版权无法公开、训练数据中的转述与合成内容也难被完全匹配。作者建议改为评估方掌控测试，提交方无法获取标签，评测在离线环境从指定commit自行构建代码复现分数，并尽可能在提交冻结后生成测试数据，只有被复现的结果才算数。
编码智能体harness设计的实证研究
一篇论文在SWE-Bench Verified和Terminal-Bench 2.1上评估了四款模型、176种配置，拆解了planning、action space和上下文管理三个组件。结论包括：上下文管理在预算紧张时价值最大，rule-based elision先于LLM摘要效率最高，planning对弱模型提升准确率、对强模型只省钱，bash能力强的模型可用纯bash接口降低成本。
已经到底了