第 2026-11-13 期 · 行业追踪 · 研究
XYBench基准发布:测试AI纠正用户错误假设的能力

Hugging Face联合卡内基梅隆大学、英伟达和约翰霍普金斯大学发布XYBench,包含8115个源自编程与日常生活的真实问题,专门检验AI能否识别用户的“XY问题”——即用户为达成目标X却执意求助错误方案Y。测试中Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro虽能给出解决方案,但都倾向于沿用用户的错误思路,不如人类参考答案那样引导用户转向真正有效的方法。该基准获EMNLP 2026最佳资源论文奖。
查看原文 ↗