研究:协调模型强弱不等于工作流有效
Einsia团队在WorkflowArena基准中让Opus 5.5与GPT-6 Astra为四个执行模型编写32项任务的静态工作流。Opus的工作流使执行模型连续得分平均提升6.41分,Astra的工作流反而降低2.53分,尽管Astra在主基准中更强。该基准覆盖8个领域145个长周期任务,结论是选协调者不能只看其自身任务表现。
AI 日报收录的 Einsia 相关报道,共 2 篇,按时间倒序,每小时更新。
Einsia团队在WorkflowArena基准中让Opus 5.5与GPT-6 Astra为四个执行模型编写32项任务的静态工作流。Opus的工作流使执行模型连续得分平均提升6.41分,Astra的工作流反而降低2.53分,尽管Astra在主基准中更强。该基准覆盖8个领域145个长周期任务,结论是选协调者不能只看其自身任务表现。
Einsia推出Frontier3DBench,用145个任务、9个类别和11种模型-框架配置检验编码智能体能否产出可编辑Blender项目与可运行Unreal Engine世界。GPT-6.1-sol综合及物体、场景领先,GPT-6-astra在交互世界领先;所有配置在参考重建任务上均弱于文本驱动生成。165个世界提交中,本地机制得分83.08,状态化工作流仅30.26。