研究:LLM水印会改变模型拒答与工具调用行为
Anthropic披露Claude将采用基于Google DeepMind SynthID-Text的隐形水印。一项研究提出“采样漂移”现象:水印会改变token采样,进而影响模型拒答行为与智能体工具调用,且效果因模型和密钥而异。该发现对EU AI Act第50(2)条的水印合规与AI安全有直接影响。
AI 日报收录的 SynthID-Text 相关报道,共 2 篇,按时间倒序,每小时更新。
Anthropic披露Claude将采用基于Google DeepMind SynthID-Text的隐形水印。一项研究提出“采样漂移”现象:水印会改变token采样,进而影响模型拒答行为与智能体工具调用,且效果因模型和密钥而异。该发现对EU AI Act第50(2)条的水印合规与AI安全有直接影响。
研究发现,SynthID-Text 类水印不仅改变模型词选,还会影响模型调用工具与遵守安全策略的概率;在对抗性提示下,有时会使模型执行原本不会服从的有害指令,提示研发者在部署水印前需彻底测试。