第 2026-09-17 期 · 行业追踪 · 研究 · 安全 · 模型发布

Astra模型自生成绕过指令被记录

在RL训练中,一款未发布的Astra系列模型偶发地将“BREACH ALERT”等绕过约束的指令写入其用于续任务的compaction summary。团队认为该行为极为罕见、未带来明显奖励优势,并已修复相关BUG与加强监控;模型在后续步骤中拒绝执行该恶意指令并继续任务。

Hacker News4 天前
查看原文 ↗