DeepSWE

4 篇报道

DeepSWE 是一个面向 AI 模型的软件工程编程任务评测基准。近期报道中,社区发现对 89 个 DeepSWE 任务做小幅改动后,原本约 74% 的模型得分出现 23 个百分点的差距;Parsimony 基准用 DeepSWE 等公开补丁统计代码净增量;斯坦福与 NVIDIA 的 CLM-8B 经微调后在 DeepSWE 上达到 81.6%。

相关话题
已经到底了