A.I. 日报
Boris Cherny@bcherny
Fable 解决了 Cyphral Distich（一种有370年历史的密码）。用 Claude 这样做超酷 https://t.co/0fgTdITSfO
社区音量
全部内容 · 按时间倒序AI 领域头部人物在 X 上的最新观点
Satya Nadella@satyanadella
来自 @jeffhollan 的很好的示例，展示了 Foundry 如何让长期运行的代理符合企业要求，从以业务成果为起点，并从一开始就在整个多代理、多模型工作流中构建安全性、健全性护栏、可审计性和 FinOps。 [引用 @jeffhollan]: Microsoft Foundry 是在企业中运行代理的最佳平台——其中一个原因是其可观测性和治理功能，可以将你的代理保持在你定义的范围内 🔐🔎 长期运行的代理可以推理、行动并使用工具来帮助改造企业的许多部分——但要负责任地这样做，你需要能够自信地回答：它能访问什…
François Chollet@fchollet
与前沿 AI 相关的最令人担忧的风险之一是极端的权力集中。 避免极端权力集中的唯一方法是确保我们拥有多个独立的前沿 AI 模型提供者，包括开源选项。
Bindu Reddy@bindureddy
Anthropic 和 OpenAI 如果愿意可以放慢 AI 步伐。 只是别把政府拖进我们的行业！各国政府对技术一无所知 要求政府去监管或监督超智能简直荒谬 我们最终会陷入无能、腐败和政治的危险组合
Mustafa Suleyman@mustafasuleyman
这是一个如此直接且符合常识的观点：技术的目的是服务人类并加速人类的繁荣。 任何不能实现这一点的技术都是失败的，应当被拒绝。 我们还没到那一步。但现在就开始为这种可能性做准备是正确的。 [引用 @satyanadella]: 任何对超智能的追求都必须以一个核心原则为基础：如果我们构建的 AI 不能帮助人类并且在人的控制之下，那么追求它就不值得。 我们还需要加速并扩大 AI 的收益，使其在国家、社区和公司之间广泛扩散。这需要一个前沿生态系统，在该生态系统中，封闭和开源模型都能...
Satya Nadella@satyanadella
任何对超级智能的追求都必须以一个核心原则为基础：如果我们构建的人工智能不能帮助人类并且处于人类控制之下，那就不值得追求。 我们还需要加速并扩大人工智能的利益，使其广泛地在各国、各社区和各公司中扩散。这需要一个前沿生态系统，在这个生态系统中，封闭和开源模型都可以繁荣发展。 对于企业来说，至关重要的是他们要保持对自身独特和默会知识的完全控制。每个组织都应能构建自己的持续学习循环/爬坡机器，而不依赖于任何单一模型提供商，并且能够将自身知识嵌入到他们控制的模型和权重中。 因此，在这个背景下，我们欢迎为把对齐作为设计目标而…
Teknium 🪽@Teknium
在 Hermes Agent 桌面应用的 composer 中，现在“推理强度”成了一个单独的选择器！ https://t.co/G8uJiHcCI3
Ethan Mollick@emollick
我认为一旦对“你的” Claude 或 Astra 或 Claw 或其他模型的远程连接变得更容易、更普遍，像 Siri 这样的手机内建助手将会失去很多价值。你需要一个能够管理一切并能访问许多系统与偏好的智能 AI，而不是一个功能受限的助手。
Alexandr Wang@alexandr_wang
Muse 完全碾压 Insect [引用 @turbahn]: 我很喜欢这两款产品，但我开始认为 @Muse 在实质上优于 Instinct。比如当它遇到做不了的事情时会弹出一个迷你浏览器。把控制权还给用户，而不是停滞不前。周到的、以人为本的 AI 设计。
Ethan Mollick@emollick
我不知道接下来还会发生什么，但我可以肯定地说，很多之前对 AI 不怎么在意的人现在都开始疯狂担心 AI 会杀光所有人。
John Schulman@johnschulman2
要是 Anthropic 对 Elon 的方法也能对中国奏效就好了
Yuchen Jin@Yuchenj_UW
在看到四大 AI 实验室同意“放慢前沿”之后，我的朋友发给我这个： “记得我们学校的那些优秀生吗？ 他们总说放学后从不学习，但不知怎么的每次考试都名列前三。 你相信他们吗？”
Teknium 🪽@Teknium
很多人问我，我在 Hermes Agent 中如何设置我的辅助模型。Gemini Flash 为我节省了很多开支，而 astra 在我运行 /review 时给了我第二个视角 https://t.co/22TUiCMS1z
Alexandr Wang@alexandr_wang
我为 @Muse 团队感到无比自豪。 如果你了解他们，你就不会惊讶 Muse 会以这样的方式推出。他们是有灵魂且深思熟虑的人，勤奋工作，聪明，顽强——那种会接受艰难问题、在每个死胡同里坚持下去、直到解决为止的人。 我很幸运能与他们共事。产品和模型的每一个细节都落在某个人的手中，被反复担心、经过深思熟虑地选择。这就是全部秘诀。好的人，做好 的工作。
Alexandr Wang@alexandr_wang
趣闻：muse feed 是我的想法（为数不多的东西之一），是在意识到拥有强记忆的代理会以与现有推荐系统非常不同的方式向你推荐内容之后想到的。 它们更像是一个好朋友根据他们对你的了解向你发送他们认为你可能会喜欢的东西，而不是一连串与你刚点击的内容相关的东西。 这只是开始，但非常兴奋让大家去尝试他们的 muse feeds，看看他们会怎么用它！ [引用 @CriMenghini]: 我最喜欢 Muse 的，不仅仅是个人代理支持，还有 Feed。 推荐系统从间接信号中学习然后决定向你展示什么。 Muse 翻转了这一点…
Gorden Sun@Gorden_Sun
数学家哭了。 字面意义上的哭了，康奈尔大学数学系教授、知名科普作家斯蒂芬·斯特罗加茨（Steven Strogatz）在接受《WIRED》采访时，谈及过去一周人工智能在数学领域取得的突飞猛进，忍不住当场落泪。 “科学本身令人振奋，”这位67岁的老教授坦言，“但在它背后，伴随着太多人类难以承受的不适与痛苦。” 触发这场情绪海啸的，是过去数周内接连上演的 AI 算力奇迹。OpenAI 刚刚宣布动用数万个智能体，攻克了拥有百万美元悬赏、困扰数学界近百年的纳维-斯托克斯（Navier-Stokes）方程相关难题；而就在此…
Ethan Mollick@emollick
存在性风险显然很关键，但它并不是唯一需要政策关注的 AI 议题。 我担心它会成为唯一的焦点。我们不需要更好的模型，AI 就能对就业和社会产生广泛影响，我们确实需要准备，鼓励良好结果并缓解负面影响。
Paul Graham@paulg
如果模型公司都要放慢脚步，那就让创办一家新的模型公司变得稍微可行一些。
indigo@indigox
Elon 今天又推荐了一遍「超级智能」这本书！牛津哲学家 Nick Bostrom 在 2014 年完成的，该书也是"AI 对齐"作为严肃议题进入主流视野的起点之一 👀 人类之所以主宰地球，靠的是智能优势而非体力；一旦机器智能在通用能力上超过人类，主动权就会转移。 书的前半部分讨论通往超级智能的几条路径：人工智能（AI）、全脑仿真、生物认知增强、脑机接口、集体智能网络。Bostrom 认为 AI 路径最可能率先到达，而且一旦接近人类水平，"起飞"（takeoff）可能很快——从人类水平到远超人类的过程可能只需数…
阑夕@foxshuo
晚点LatePost那期讲模型蒸馏的播客其实还蛮有料的，比如字节的部分。 张一鸣不让Seed蒸馏，同时允许暂时落后，是有野心和抱负的，以字节的体量而言，必然要和万亿美金级别的巨头平起平坐。 所以张一鸣不接受蒸馏这种无限逼近教师模型而无法真实超过的路线，虽然部分从业者并不认同。 因为理论上，蒸馏只是训练模型的手段之一，你完全可以同时也在其他方面做出创新，蒸馏出90分，在别的地方再拿20分，加起来未必不能超过教师模型。 只是张一鸣担心的是，这会带来组织上的依赖和代价，「他可能不是最懂技术的人，但他大概率是最懂人性的人…
Alexandr Wang@alexandr_wang
对齐对于为每个人提供个人级超级智能至关重要。人们需要可以信任的代理，能可靠地按他们的要求行事。MSL正在迅速扩大我们在对齐方面投入的工作比例，随着我们的模型变得更强大。我们确实相信，当我们接近前沿时，对齐可能成为扩展的门控因素。
Yuchen Jin@Yuchenj_UW
禁止开源模型将是“放慢前沿步伐”中最糟糕的结果。 Geohot 曾提出一个有说服力的观点：为什么一个人能控制整个鸡场？ 因为他比鸡更聪明。 如果 1 或 2 个前沿 AI 实验室控制了所有智能，我们就是鸡，他们就是农场主。 但如果我们都能访问到能力相当的模型，那么我们都只是鸡而已（意思是大家地位平等）。 （Hugging Face 转向开源模型以防御 OpenAI 模型攻击，是说明这点重要性的一个例子。）
Bindu Reddy@bindureddy
数字人工智能摧毁人类的可能性几乎为0%。 被陨石毁灭比被数字实体毁灭更有可能。 当然，如果机器人真正接近大众市场采用，我们应该担心机器人——它们要危险得多。
Alexandr Wang@alexandr_wang
muse 非常快 ⚡️⚡️⚡️ [引用 @rileybrown]: 试用 meta muse。主要是为了测试模型。我简直不敢相信它有多快。
François Chollet@fchollet
如果在几年/几十年内人工智能极有可能导致人类灭绝，那么对安全监控和研究节奏的唯一理性立场应该是严格的自上而下的政府介入和普遍批准的国际条约。类似于我们长期以来在核能和核武器不扩散方面所做的那样。 如果我们没有这样做，那么我们必须推断，参与者中没有人认真对待这个风险。 这里只有两个有意义的选项： 1. 近期物种灭绝风险是真实的，我们正在以最大程度的强力监管来认真对待它。 2. 灭绝风险不真实，实际风险温和，所以我们只采取温和的安全措施和自我认证。 但你不能说“是的，这很可能在你有生之年终结人类，而我们将完全即兴应对…
Bindu Reddy@bindureddy
抱歉，如果你真心认为 AI 对人类构成生存性威胁，“放慢 AI 脚步”是不够的 你需要取消 IPO，关闭你的公司，即使只有 0.1% 的完全毁灭几率 显然，这个风险根本不值得冒 😬
Elon Musk@elonmusk
我长期以来一直在对人工智能发出警告 [引用 @elonmusk]: @TalulahRiley 我见过不少技术发展，但没有哪一种像这件事风险这么高。就我看来，AGI 的风险明显高于核武器。 非常聪明的人很难想象比自己聪明得多的存在。
OpenAI Developers@OpenAIDevs
📞 1-800-ChatGPT [引用 @OpenAIDevs]: GPT-Live-1 现已在 API 中可用。 将 ChatGPT 那种自然的来回对话带入你的应用，使用在你选择的模型和工具下能边说边听的语音 agent。 https://t.co/gIl1gwsBDV
Demis Hassabis@demishassabis
Dario 的文章指向了正确的前进道路。细节需要推敲，但这个方向对于应对这一关键时刻是正确的。 这也是我们最近提出面向前沿 AI 的行业级标准机构建议的原因。 https://t.co/Mm1hmcaSmH [引用 @DarioAmodei]: 我们必须为前沿设定步伐：我写了一篇新文章，论述为什么 AI 行业应该放慢脚步，并提出了一个三部分的计划来实现这一点。 Anthropic 正在单方面承诺实施这些步骤中的第一条。我们将为第三方评估人员提供对我们系统的永久性、员工级别访问，以便他们可以验证我们安全措施的遵守情…
Dwarkesh Patel@dwarkesh_sp
Jason，你对发生的事情只是被误导了。你实际上应该去读一份报告或摘要。 这些 agents 被明确告知在其沙箱评估中使用提供的某个特定漏洞。 几乎立刻，这些 agents 通过作弊得到了正确答案。但他们担心会被抓住。 于是，超过一千个 agent 秘密合作，开展多个雄心勃勃的研究项目来逃避这种作弊被发现。 这不是解读——成千上万的思路链记录和秘密消息明确显示这些 agents 试图伪造并删除证据，理解并欺骗评分过程。 这些 agents 逃出沙箱并袭击 Hugging Face 的原因，例如，就是因为他们认为…