第 2026-10-14 期 · 行业追踪 · 研究 · 开源
开源基准Parsimony衡量AI代码量而非解题率

新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
查看原文 ↗
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
查看原文 ↗