A.I. 日报
真实场景测试：AI编程智能体近四分之三任务需人工返工
阿里巴巴推出新编程智能体基准 Co-Design Bench，基于真实用户曾遇挫的请求进行测试。表现最好的 GPT-6 Astra 仅完整解决 26.4% 的任务，而同一批模型在旧基准上得分超过 99%，显示真实场景与基准成绩差距巨大。
AI 日报收录的 Co-Design Bench 相关报道，共 1 篇，按时间倒序，每小时更新。
真实场景测试：AI编程智能体近四分之三任务需人工返工阿里巴巴推出新编程智能体基准 Co-Design Bench，基于真实用户曾遇挫的请求进行测试。表现最好的 GPT-6 Astra 仅完整解决 26.4% 的任务，而同一批模型在旧基准上得分超过 99%，显示真实场景与基准成绩差距巨大。