开源基准Parsimony衡量AI代码量而非解题率
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
AI 日报收录的 Parsimony 相关报道,共 2 篇,按时间倒序,每小时更新。
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
开源基准,衡量AI模型为代码库增加了多少代码。