ThinkingBox基准:智能体单次成功率高不等于可重复成功
微软作者发布ThinkingBox-Bench,含507个跨5个领域的业务流程任务,每项独立运行20次并按后端终态评分。Kimi-K3单次覆盖率达93.89%,但仅13.41%任务20次全对;Claude Opus 5覆盖率79.09%,全对率却达47.53%,说明发现能力与可重复性排名几乎相反。
Claude Opus 5 是 Anthropic 推出的 Claude 系列大语言模型。近期相关报道集中在基准测试与实际使用表现上:ThinkingBox-Bench 显示它在 507 项业务工作流中至少成功完成 79.09% 的任务,20 次全部重复成功的比例为 47.53%,高于 Kimi-K3;另有测试用 Claude Code 调用它完成 OpenSCAD 与 CadQuery 的 CAD 任务。后续的 Claude Opus 5.5 在提示词指南中称输出 token 速度提升 30% 以上,写作风格分析则显示每千词破折号从 15.2 降至 0.8。
微软作者发布ThinkingBox-Bench,含507个跨5个领域的业务流程任务,每项独立运行20次并按后端终态评分。Kimi-K3单次覆盖率达93.89%,但仅13.41%任务20次全对;Claude Opus 5覆盖率79.09%,全对率却达47.53%,说明发现能力与可重复性排名几乎相反。
Anthropic发布针对Claude Opus 5.5的提示指南,称其输出速度比Opus 5快逾30%,完成同一任务所用token更少。既有Opus 5提示基本无需修改即可使用,指南还覆盖代理式编码、多应用工作流和安全拒答等场景。
Arena分析显示,Anthropic的Claude Opus 5.5较Opus 5明显减少AI写作痕迹:每千词破折号使用量从15.2降至0.8,降幅约95%,分号从6.10降至1.64,平均句长从12.14词缩短至10.03词,但回答平均长度由453词增至481词。
ModelRift 对比了用于无人工监督的代理驱动 CAD 的两种代码化工具:OpenSCAD 与基于 OpenCascade 的 CadQuery。六个代理、三项任务、均由 Claude Opus 5(1M 上下文)通过 Claude Code 驱动,所有生成的 STL 都可打印,但两者在失败模式上不同。测试在 M 系列 Mac 上,CadQuery 2.8.0 + Python 3.14 与 OpenSCAD 2026.06.12 进行了对比,输出文件大小分别约 13.1 KB 与 12.4 KB。