François Chollet 是一位 AI 研究者与评论者，长期关注模型能力、评估方法与治理问题。近期他在 X 上讨论了 AI 灭绝风险与监管、对前沿实验室提出的节奏建议和监管俘获的批评，并介绍了为开放式发明设计的基准方向（ARC 4/5）以及关于发现性研究与目标求解差异的观点。
> 可以把智能定义为把经验转化为能力的效率；按这个定义他们远远落后于我们 是的，人们可以按这种方式定义智能，而且这是正确的。按这个度量，当前的 AI 在智能上大约比人类低 6 个数量级。 你的祖先的进化史并没有让你为 Python 编程做好准备，但你可以在几百小时内学会熟练使用 Python。一个大型回归模型在训练上需要大约相当于 ~10^9 小时的训练数据（这还不包含它所有与编程无关的训练数据）。 当前 AI 在另一个维度上也远低于人类：测试时的计算效率和能量效率。一个人类可以通过消耗的能量来完成一个 ARC-…
与前沿 AI 相关的最令人担忧的风险之一是极端的权力集中。 避免极端权力集中的唯一方法是确保我们拥有多个独立的前沿 AI 模型提供者，包括开源选项。
如果在几年/几十年内人工智能极有可能导致人类灭绝，那么对安全监控和研究节奏的唯一理性立场应该是严格的自上而下的政府介入和普遍批准的国际条约。类似于我们长期以来在核能和核武器不扩散方面所做的那样。 如果我们没有这样做，那么我们必须推断，参与者中没有人认真对待这个风险。 这里只有两个有意义的选项： 1. 近期物种灭绝风险是真实的，我们正在以最大程度的强力监管来认真对待它。 2. 灭绝风险不真实，实际风险温和，所以我们只采取温和的安全措施和自我认证。 但你不能说“是的，这很可能在你有生之年终结人类，而我们将完全即兴应对…
大约一年前，在它还没有进入任何人的视野之前，我们开始探索一个用于开放式发明的基准的想法。从那时起，我们开发了几个有前景的方向，这些将作为 ARC 4 和 ARC 5 的基础。 我们非常激动地分享我们一直在构建的东西。我们仍按计划在明年第一季度发布 ARC 4，正如承诺的那样。 [引用 @arcprize]: ARC-AGI-4 将成为用于自主开放式创新的基准。它将继续我们对开源的承诺，为研究界提供一个共同的进步目标，造福全人类。 尽管模型进展迅速，但在人类在开放式发明方面仍明显胜过 AI。这是能在每个技术领域解锁…
我希望前沿实验室提出的放缓 AI 研究的建议是出于对安全的真诚关切，以及认识到未来模型可能带来的风险，而不是一种战略性努力，旨在巩固权力并永久固化少数几家顶级公司的市场主导地位。 如果这些努力是真诚的，那么监管必须采取更具民主性和问责性的形式，应包含国家和国际两个层面，类似于美国的核能监管委员会（Nuclear Regulatory Commission）和国际原子能机构（International Atomic Energy Agency）。 如果只有一个组织负责安全监测，而该组织恰好由与前沿实验室相同的人组成…
“发现就是看到大家都看到了的东西，但思考出没人想过的东西。” （Albert Szent-Györgyi） [引用 @kenneth0stanley]: 我们现在在数学领域看到的 AI，是面向目标的问题解决能力的戏剧性提升，但这并不说明它能进行非目标驱动的发现。我一直认为，当目标与当前状态只相差一块垫脚石时，这些目标就是可实现的，这意味着如果实现目标所需的前置垫脚石已经被铺好，那么目标就在可及之处。我们在《为什么伟大无法…》中也这么说过。
A.I. 日报