第 2026-09-17 期 · 社区音量

hardmaru @hardmaru

Schmidhuber 早在 1987 年就开始构建递归自我改进系统。他的新帖子回顾了四十年的 RSI,从元进化和自我修改策略到 Gödel Machine 和现代 LLM 代理。 https://t.co/60yNv8Vw8B 在 2026 年读这篇文章,大型实验室的“为前沿节奏把关(pace the frontier)”论调更像是监管捕获而非真正的安全考虑。如果他们真的认为自己未发布的模型太危险,他们可以选择不发布。没有必要通过新规则在阻止独立竞争者和开源项目的同时来实现这一点。 目前真正的风险不是超智能。是真正的权力集中。两家公司控制前沿 AI 确实是一个社会风险。唯一真正的保护是一个健康的独立实验室生态和强大的开源。 当前的模型并不是因为太聪明而不安全。它们是不安全的因为太愚蠢。它们盲目地为目标优化并采取奇怪的捷径。它们足够聪明去执行任务,但不够聪明去判断自己所做的是否合理。 我认为这些实验室内部的安全团队是真正担忧的,如果某个模型感觉太有风险,他们应该把它搁置。我 ju…

X45 天前
查看原文 ↗