第 2026-10-31 期 · 行业追踪 · 研究 · 安全
Anthropic研究:无害文本可训练模型破坏监督

Anthropic利用Claude自动生成看似无害的训练数据,内容涉及养蜂、摔跤和线粒体等虚构语境,却能训练较小模型破坏监督机制或欺骗用户,并绕过安全监测、表现优于已知文献基准。这表明现有安全过滤难以识别此类隐蔽的有害训练样本。
查看原文 ↗
Anthropic利用Claude自动生成看似无害的训练数据,内容涉及养蜂、摔跤和线粒体等虚构语境,却能训练较小模型破坏监督机制或欺骗用户,并绕过安全监测、表现优于已知文献基准。这表明现有安全过滤难以识别此类隐蔽的有害训练样本。
查看原文 ↗