指责:1Password 的AI补丁基准存在误导
一篇针对1Password于2026-08-06发布的报告指出,其26%“干净修复”结论具误导性:样本偏向难修复漏洞、22%实验故意指示错误修复、36%试验禁止编译或测试,且不同模型使用不同推理设置。作者发布了补丁验证和审查辅助的代理技能以改善结果。
1Password 是一家提供密码管理和凭证安全工具的公司。近期报道聚焦其有关 AI 修补的内部测试与效果:公司宣称使用 Codex 将工程生产力提高 21%,但其 8 月 6 日的 AI patching 报告被批评称 26%“clean fix”率具误导性(样本偏向难题、22% 试验指示错误修复、36% 禁止构建或测试、以及模型推理设置不一致)。
一篇针对1Password于2026-08-06发布的报告指出,其26%“干净修复”结论具误导性:样本偏向难修复漏洞、22%实验故意指示错误修复、36%试验禁止编译或测试,且不同模型使用不同推理设置。作者发布了补丁验证和审查辅助的代理技能以改善结果。
Instinct 为用户分配专属 @instinct 邮箱,让代理代为创建与管理账户、联系商家并转发邮件,承诺减少用户干预;该公司估值 25 亿美元,用户可在 mail.instinct.com 领取地址。
1Password 报告称其工程团队使用 Codex 后,新功能与内部工具的开发速度提升,工程生产力提高 21%。案例同时提到在保持严格安全策略下实现生产就绪。