微软发布ThinkingBox,按数据库状态评估AI智能体
微软推出ThinkingBox基准,通过检查智能体在507个有状态业务流程中留下的后端数据库状态和副作用来评分,而非仅看生成的文本或工具调用,并要求每个任务重复运行20次以检验一致性,该基准已通过Hugging Face和OpenEnv开放。
AI 日报收录的 OpenEnv 相关报道,共 1 篇,按时间倒序,每小时更新。
微软推出ThinkingBox基准,通过检查智能体在507个有状态业务流程中留下的后端数据库状态和副作用来评分,而非仅看生成的文本或工具调用,并要求每个任务重复运行20次以检验一致性,该基准已通过Hugging Face和OpenEnv开放。