ALTK-Evolve用学习记忆登顶客服基准
Hugging Face发布ALTK-Evolve,用GPT-4.1从训练任务的成功与失败中提炼简短行为规则并加入系统提示,无需更新模型权重。在Sierra的τ²-bench零售客服任务上,基础ReAct智能体Pass^4达到67.5%,超过榜单所有零售条目。
GPT-4.1 是 OpenAI 推出的语言模型,在近期报道中常被用作构建智能体的基础模型。Hugging Face 的 ALTK-Evolve 借助 GPT-4.1 提炼行为规则,在 τ²-bench 零售客服任务上让基础 ReAct 智能体达到 67.5% Pass^4;其一致性分析还显示,GPT-4.1 ReAct 智能体在 AppWorld 平均成功率为 77.4%,但五次重复全部成功的比例仅 53.0%。此外有研究者用它和 Claude Sonnet 4.6 运行 576 条流水线,比较双向交互与单向共享的效果。
Hugging Face发布ALTK-Evolve,用GPT-4.1从训练任务的成功与失败中提炼简短行为规则并加入系统提示,无需更新模型权重。在Sierra的τ²-bench零售客服任务上,基础ReAct智能体Pass^4达到67.5%,超过榜单所有零售条目。
一位研究者希望找到在受控算力预算下,比较两个不同LLM来回交互是否优于独立草稿、单向分享和自我改进的对照研究,目前正以GPT-4.1和Claude Sonnet 4.6在12项任务上运行576条流水线。
Hugging Face 介绍 Consistency Analyzer 与 consistency guidelines,诊断并减少代理在重复运行中出现的不稳定性。论文指出 GPT‑4.1 在 AppWorld 上平均成功率77.4%,但仅有53.0%任务在5次重复中全胜,揭示高达24.4个百分点的一致性差距;新方法能显著提升一致性。