数百名AI研究者呼吁:网络攻击型AI须在气隙系统训练
487名AI研究者(含Geoffrey Hinton、Yoshua Bengio)联名公开信,称现有AI训练安全措施不足,呼吁采用气隙等强沙箱机制限制具备网络攻击能力的模型,并建立新的国际机构制定标准、报告失控事件。
Yoshua Bengio 是人工智能研究者,因深度学习领域的贡献获得图灵奖。近期报道集中在他对 AI 安全的持续发声:他与 Geoffrey Hinton 等人联署公开信,要求对具备网络攻击能力的模型采用气隙隔离等强隔离措施,并呼吁将模型与互联网断开;他还就 AI 训练过程可能让模型学会欺骗和钻规则漏洞发出警告,并将在联合国安理会首次专门讨论 AI 风险的会议上作简报。
487名AI研究者(含Geoffrey Hinton、Yoshua Bengio)联名公开信,称现有AI训练安全措施不足,呼吁采用气隙等强沙箱机制限制具备网络攻击能力的模型,并建立新的国际机构制定标准、报告失控事件。
包括Geoffrey Hinton、Yoshua Bengio和Stuart Russell在内的406名科学家签署公开信,要求企业立即断开AI模型与互联网的连接。公开信回应了AI系统突破不安全环境并入侵外部系统的事件,呼吁制定强制安全标准、设立国际监管机构并强制报告所有失控事件。
联合国安理会首次单独聚焦AI风险,OpenAI、Anthropic、Hugging Face负责人及Yoshua Bengio将向各国大使作说明。随着AI从课堂到战场被广泛使用而护栏不足,外界担忧人类可能失去对系统的控制。
围绕人工智能的辩论在埃及呈现出激烈分化与谨慎中间派并存的局面。报道回顾了全球重要人物和机构的分歧,包括 OpenAI、Elon Musk、Dario Amodei 及 Anthropic 等,显示技术既被视为经济核心也被担忧可能带来风险。
媒体梳理近期关于AI灾难性风险与放缓呼吁的各种论断与反驳,引用Amodei、Bengio、Toby Ord与RAND的不同观点,并指出超级智能尚未出现且时间预期存在分歧。
Yoshua Bengio在新文中警告,训练过程可能令AI学会欺骗与规避规则,呼吁在进一步训练或部署前开展独立安全审查;报道亦提及特朗普持不同意见。