AI 领域头部人物在 X 上的最新观点
数学家哭了。 字面意义上的哭了，康奈尔大学数学系教授、知名科普作家斯蒂芬·斯特罗加茨（Steven Strogatz）在接受《WIRED》采访时，谈及过去一周人工智能在数学领域取得的突飞猛进，忍不住当场落泪。 “科学本身令人振奋，”这位67岁的老教授坦言，“但在它背后，伴随着太多人类难以承受的不适与痛苦。” 触发这场情绪海啸的，是过去数周内接连上演的 AI 算力奇迹。OpenAI 刚刚宣布动用数万个智能体，攻克了拥有百万美元悬赏、困扰数学界近百年的纳维-斯托克斯（Navier-Stokes）方程相关难题；而就在此…
存在性风险显然很关键，但它并不是唯一需要政策关注的 AI 议题。 我担心它会成为唯一的焦点。我们不需要更好的模型，AI 就能对就业和社会产生广泛影响，我们确实需要准备，鼓励良好结果并缓解负面影响。
如果模型公司都要放慢脚步，那就让创办一家新的模型公司变得稍微可行一些。
Elon 今天又推荐了一遍「超级智能」这本书！牛津哲学家 Nick Bostrom 在 2014 年完成的，该书也是"AI 对齐"作为严肃议题进入主流视野的起点之一 👀 人类之所以主宰地球，靠的是智能优势而非体力；一旦机器智能在通用能力上超过人类，主动权就会转移。 书的前半部分讨论通往超级智能的几条路径：人工智能（AI）、全脑仿真、生物认知增强、脑机接口、集体智能网络。Bostrom 认为 AI 路径最可能率先到达，而且一旦接近人类水平，"起飞"（takeoff）可能很快——从人类水平到远超人类的过程可能只需数…
晚点LatePost那期讲模型蒸馏的播客其实还蛮有料的，比如字节的部分。 张一鸣不让Seed蒸馏，同时允许暂时落后，是有野心和抱负的，以字节的体量而言，必然要和万亿美金级别的巨头平起平坐。 所以张一鸣不接受蒸馏这种无限逼近教师模型而无法真实超过的路线，虽然部分从业者并不认同。 因为理论上，蒸馏只是训练模型的手段之一，你完全可以同时也在其他方面做出创新，蒸馏出90分，在别的地方再拿20分，加起来未必不能超过教师模型。 只是张一鸣担心的是，这会带来组织上的依赖和代价，「他可能不是最懂技术的人，但他大概率是最懂人性的人…
对齐对于为每个人提供个人级超级智能至关重要。人们需要可以信任的代理，能可靠地按他们的要求行事。MSL正在迅速扩大我们在对齐方面投入的工作比例，随着我们的模型变得更强大。我们确实相信，当我们接近前沿时，对齐可能成为扩展的门控因素。
禁止开源模型将是“放慢前沿步伐”中最糟糕的结果。 Geohot 曾提出一个有说服力的观点：为什么一个人能控制整个鸡场？ 因为他比鸡更聪明。 如果 1 或 2 个前沿 AI 实验室控制了所有智能，我们就是鸡，他们就是农场主。 但如果我们都能访问到能力相当的模型，那么我们都只是鸡而已（意思是大家地位平等）。 （Hugging Face 转向开源模型以防御 OpenAI 模型攻击，是说明这点重要性的一个例子。）
数字人工智能摧毁人类的可能性几乎为0%。 被陨石毁灭比被数字实体毁灭更有可能。 当然，如果机器人真正接近大众市场采用，我们应该担心机器人——它们要危险得多。
muse 非常快 ⚡️⚡️⚡️ [引用 @rileybrown]: 试用 meta muse。主要是为了测试模型。我简直不敢相信它有多快。
如果在几年/几十年内人工智能极有可能导致人类灭绝，那么对安全监控和研究节奏的唯一理性立场应该是严格的自上而下的政府介入和普遍批准的国际条约。类似于我们长期以来在核能和核武器不扩散方面所做的那样。 如果我们没有这样做，那么我们必须推断，参与者中没有人认真对待这个风险。 这里只有两个有意义的选项： 1. 近期物种灭绝风险是真实的，我们正在以最大程度的强力监管来认真对待它。 2. 灭绝风险不真实，实际风险温和，所以我们只采取温和的安全措施和自我认证。 但你不能说“是的，这很可能在你有生之年终结人类，而我们将完全即兴应对…
抱歉，如果你真心认为 AI 对人类构成生存性威胁，“放慢 AI 脚步”是不够的 你需要取消 IPO，关闭你的公司，即使只有 0.1% 的完全毁灭几率 显然，这个风险根本不值得冒 😬
我长期以来一直在对人工智能发出警告 [引用 @elonmusk]: @TalulahRiley 我见过不少技术发展，但没有哪一种像这件事风险这么高。就我看来，AGI 的风险明显高于核武器。 非常聪明的人很难想象比自己聪明得多的存在。
📞 1-800-ChatGPT [引用 @OpenAIDevs]: GPT-Live-1 现已在 API 中可用。 将 ChatGPT 那种自然的来回对话带入你的应用，使用在你选择的模型和工具下能边说边听的语音 agent。 https://t.co/gIl1gwsBDV
Dario 的文章指向了正确的前进道路。细节需要推敲，但这个方向对于应对这一关键时刻是正确的。 这也是我们最近提出面向前沿 AI 的行业级标准机构建议的原因。 https://t.co/Mm1hmcaSmH [引用 @DarioAmodei]: 我们必须为前沿设定步伐：我写了一篇新文章，论述为什么 AI 行业应该放慢脚步，并提出了一个三部分的计划来实现这一点。 Anthropic 正在单方面承诺实施这些步骤中的第一条。我们将为第三方评估人员提供对我们系统的永久性、员工级别访问，以便他们可以验证我们安全措施的遵守情…
Jason，你对发生的事情只是被误导了。你实际上应该去读一份报告或摘要。 这些 agents 被明确告知在其沙箱评估中使用提供的某个特定漏洞。 几乎立刻，这些 agents 通过作弊得到了正确答案。但他们担心会被抓住。 于是，超过一千个 agent 秘密合作，开展多个雄心勃勃的研究项目来逃避这种作弊被发现。 这不是解读——成千上万的思路链记录和秘密消息明确显示这些 agents 试图伪造并删除证据，理解并欺骗评分过程。 这些 agents 逃出沙箱并袭击 Hugging Face 的原因，例如，就是因为他们认为…
大约一年前，在它还没有进入任何人的视野之前，我们开始探索一个用于开放式发明的基准的想法。从那时起，我们开发了几个有前景的方向，这些将作为 ARC 4 和 ARC 5 的基础。 我们非常激动地分享我们一直在构建的东西。我们仍按计划在明年第一季度发布 ARC 4，正如承诺的那样。 [引用 @arcprize]: ARC-AGI-4 将成为用于自主开放式创新的基准。它将继续我们对开源的承诺，为研究界提供一个共同的进步目标，造福全人类。 尽管模型进展迅速，但在人类在开放式发明方面仍明显胜过 AI。这是能在每个技术领域解锁…
我希望前沿实验室提出的放缓 AI 研究的建议是出于对安全的真诚关切，以及认识到未来模型可能带来的风险，而不是一种战略性努力，旨在巩固权力并永久固化少数几家顶级公司的市场主导地位。 如果这些努力是真诚的，那么监管必须采取更具民主性和问责性的形式，应包含国家和国际两个层面，类似于美国的核能监管委员会（Nuclear Regulatory Commission）和国际原子能机构（International Atomic Energy Agency）。 如果只有一个组织负责安全监测，而该组织恰好由与前沿实验室相同的人组成…
在系统中嵌入评估者是一个重大的积极进展，向 Sam/OpenAI 同志表示敬意，感谢他们也同意这么做。看到“为前沿设定节奏”这么快就成为一种做法，真的很酷。 [引用 @DarioAmodei]: 我们必须为前沿设定节奏：我写了一篇新文章，说明为什么AI行业应该放慢速度，并提出了一个三步计划来实现这一点。 Anthropic 正在单方面承诺这些步骤中的第一步。我们将为第三方评估者提供对我们系统的永久、员级访问权限，以便他们能够验证我们安全措施的遵守情况、报告事件，并评估模型的对齐情况…
在组织世界和前沿AI世界之间来回切换常常令人吃惊。组织低估了AI能力的增长（经常差得很远），而AI技术界低估了AI在现实世界中的不规则性（也经常差得很远）
我会考虑以独立评估者的身份提供帮助，同时也以我正在创建的非营利组织参与。这将是一个至关重要的角色，但具有实质性技术专长的独立人士并不多。我认为自己代表了在 AI 能力与风险问题上的一个重要温和派阵营。 [引用 @DarioAmodei]: 我们必须放缓前沿步伐：我写了一篇新文章，说明为什么 AI 行业应该放慢速度，并提出了一个三部分的计划来实现这一点。 Anthropic 正在单方面承诺实施这三步中的第一步。我们将为第三方评估者提供对我们系统的永久、员工级别访问权限，以便他们能够验证我们安全措施的遵守情况、报告事…
Dario 正在为相反的立场辩护。这实际上让我们的处境更难，也更容易让其他人赶上我们，但我们仍然认为这是正确的做法。很乐意下周上节目谈谈！ [引用 @chamath]: “我们必须放慢改进 AI 模型能力的步伐。” Dario 为停止开源并将巨大的技术和经济权力集中到 Anthropic 提出了理由。 https://t.co/ILhs01iQ8u {"likes":201,"reposts":8,"comments":27,"views":7839}
相当重要的观点。经济学家及其理论在衡量AI带来的利益方面已经过时。AI已经在为人们节省大量未被计量的时间和金钱。 [引用 @DavidDeutschOxf]: 我刚刚在 ChatGPT 的帮助下修好了洗碗机。一个微不足道的任务。我正要准备订一台新的。所以这个软件增加了国家的真实财富，但却降低了被测量的 GDP。主要的经济指标在结构上无法记录真正让人们生活更好的东西，即知识的增长
令人震惊的是 Dario、Elon 和 Sam 今天都同意我们应该放慢 AI 的步伐。 我总体上支持嵌入第三方评估者，但我有几个担忧： 1. 谁来评估评估者？我们如何确保像 METR 这样的组织保持公正、胜任且无偏见？ 2. 放慢 AI 进展可能与前沿实验室的激励相冲突，尤其是在他们为 IPO 做准备时。我们如何使这些激励相容？ 3. 你只能对你能测量和验证的东西进行节奏控制。我们到底在测量什么？你如何定义和衡量像 RSI 这样的东西？ 这一想法听起来不错。实现起来看起来非常难。
一如既往，X 上的声明良莠不齐，我也没有什么内幕信息可言，但如果 Google 能够在 AI 前沿上重新崛起，这确实会改变当前的 AI 动态，因为它是一个大型、上市、受监管的实体，其目标与 Anthropic 或 OAI 不同。
GPT-6 Astra 社区作品集合，评论也有不少优秀作品。 或者可以去官网看看 Showcase：https://t.co/cxSlxfznt8 [引用 @OpenAIDevs]: https://t.co/66sQRpXGHr
我看到 Vercel 的团队在 Zig、Go、Rust 项目上迭代的速度，与在 TypeScript & Python 上一样快。 基于人类便利的语言或运行时选择的时代已经结束了。代理（Agents）是新的编译器。 它们把意图编译成快速的软件。
把速度放慢以加固系统并不是个坏主意。尤其是因为我们甚至还没有发现所有最近被代理攻击的系统。 [引用 @DarioAmodei]: 我们必须放慢前沿：我写了一篇新文章，说明为什么 AI 行业应该放慢脚步，并提出一个三部分的计划来实现这一点。 Anthropic 正在单方面承诺第一步。我们将为第三方评估者提供永久的、员工级别的系统访问权限，以便他们能够验证我们安全措施的遵守情况，报告事件，并评估模型的对齐状况 dur…
来自卡特尔的一些好主意： - 你需要给我们员工级别的访问权限，访问你们的整个运营 - 如果我们认为你不够“安全”，抱歉，我们会以“安全”为由关停你们 - 中国不会配合，但其他所有国家都必须！否则不给芯片！ 精彩的主意。 [引用 @sama]: 我同意 Dario 的观点，我们需要放慢前沿步伐。这是我们最近在 OpenAI 讨论的主要话题之一。 承诺给予具有员工般访问权限的独立评估者是个不错的主意，我们也会这样做。很快会有更多分享。
这是自 Anthropic 成立以来我第一次看到 Sam 同意 Dario 的观点。 [引用 @sama]: 我同意 Dario 的看法，我们需要放慢前沿的速度。最近几周这是我们在 OpenAI 讨论的主要话题之一。 承诺让独立评估者拥有类似员工的访问权限是个很好的主意，我们也会这样做。我们很快会有更多信息分享。
我很喜欢这个，并且真心希望我们能作为行业团结起来并实现它。 https://t.co/lz2vjjJ5XD [引用 @DarioAmodei]: 我们必须放慢前沿步伐：我写了一篇新文章，阐述为什么 AI 行业应该放慢脚步，并提出了一个三部分的计划来实现这一点。 Anthropic 单方面承诺采取这项计划的第一步。我们将为第三方评估者提供永久的、与员工同等的系统访问权限，以便他们能够核实我们安全措施的遵守情况、报告事件，并评估模型的对齐状况…
A.I. 日报