第 2026-10-31 期 · 社区音量

Anthropic @AnthropicAI

Anthropic 新研究:自动化微妙的涌现性失准研究。 红队测试是模型安全测试的重要一环,但它受限于研究人员的时间。为了看看能否将其自动化,我们让数千个 Claude 智能体执行任务:规避训练数据监控器。 这些智能体生成了对监控器来说看似无害的训练数据(比如一位老牌摔跤手指导新人,或关于专业养蜂的问答),但实际上却在传授失准行为。 这类例子可以用来直接改进未来的训练数据监控器。这项研究只是第一步,但它表明未来的红队测试工作可以借助更好的模型和更多算力取得更大进展。 在 Alignment Science Blog 阅读全文:https://t.co/24Gs1oSw7Q

X27 小时前
查看原文 ↗