开源基准Parsimony衡量AI代码量而非解题率
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。
AI 日报收录的 Claude 5.5 相关报道,共 1 篇,按时间倒序,每小时更新。
新开源基准Parsimony不只看解题率和token成本,而是统计代码单元净增量,以衡量AI模型在长期项目中的代码膨胀问题。它利用DeepSWE、SWE-bench Verified和Live的公开补丁计算语句等语法单元,并扣除删除代码;因GPT-6和Claude 5.5尚无公开补丁,作者在少量任务上自测,结果不计入排名。