A.I. 日报
Dwarkesh Patel@dwarkesh_sp
罗伯特·卡罗谈孤独：
Dwarkesh Patel
21 篇报道Dwarkesh Patel 是人工智能领域的播客主持人和访谈者。近期内容围绕多个具体主题：他参观了 Intel 最先进的晶圆厂，制作了关于混合键合和环栅晶体管等芯片技术的动画讲解与闪卡；与 @polynoamial 讨论了多智能体、Navier-Stokes 以及 AI 自动化 AI 研究后的递归自我改进问题；与军事历史学家 Si Sheppard 探讨了征服者作为 AI 接管的类比；并表达了对秘密 RSI 进展风险的担忧。
相关话题
Dwarkesh Patel@dwarkesh_sp
我问卡罗今天的美国是否需要多一些摩西。 卡罗：“有时我会像你说的那样去思考。”
Dwarkesh Patel@dwarkesh_sp
Miguel和Carlos是资深工程师，他们正在构建环境，帮助AI掌握现实世界的工程能力（航空航天、机械、电气等）。 这类数据对实体工程的作用，将如同编码环境对软件行业的作用一样。 很自豪能支持他们。 [引用 @XploreAi]: 隆重推出Real World Engineering Bench（RWE-Bench）。AI目前还不擅长设计火箭、发动机或芯片。有了更好的评测和强化学习环境，它将会做到。 软件只是开始。下一个是物理世界。
Dwarkesh Patel@dwarkesh_sp
我们为英特尔晶圆厂参观那期节目制作了一些很酷的动画讲解。 这一期讲的是混合键合。请欣赏。
Dwarkesh Patel@dwarkesh_sp
我的半导体导师@willmichaels0和我制作了一堆关于半导体制造的抽认卡。 如果你想更好地理解并记住新英特尔节目中的解释，可以看看这些。 Will还整理了一份很棒的进一步阅读资源列表，放在页面底部。 顺便说一句，在这个网站上，我也为我其他许多技术节目上传了抽认卡。 比如和@reinerpope关于LLM推理的那期，以及和@ericjang11从零开始讲AlphaGo的那期。
Dwarkesh Patel@dwarkesh_sp
我发现讨论如果 60 年代一只蝴蝶扇动翅膀，半导体技术的历史可能会如何截然不同，这非常有趣。 领导 Intel 工艺开发的 Chris Auth 暗示，所有反事实的技术树到 2045 年左右都会收敛到大致相同的设计： 层叠晶体管的 3D 结构，每层之间都有连接线层。 而这基本上也是未来 10 到 20 年我们要走向的方向。
Dwarkesh Patel@dwarkesh_sp
我花了两天时间参观英特尔最先进的晶圆厂，并与该公司的技术领导层交谈，以了解未来的芯片会是什么样子。 接下来的很多东西——全环绕栅极晶体管、背面供电、CFET、混合键合——如果不亲眼看到就很难理解，所以我们制作了所有我想在准备时拥有的精彩动画讲解视频。 我还询问了英特尔领导层，半导体行业将如何应对 AI 带来的巨大需求冲击。 在过去十年里，AI 算力每年增长 3 倍，但根据英特尔 CTO 的说法，以当今全球的芯片制造工具存量，英特尔只能将先进制程晶圆产量翻倍。 晶圆代工厂可以采取哪些手段来延长这个需求远远超过供应的…
Dwarkesh Patel@dwarkesh_sp
Tyler 的例子和风格最初启发了我的播客——让他来反客为主真的非常有趣。 [引用 @tylercowen]: 在纽约时报播客中，我担任客座主持人，采访 @dwarkesh_sp，Dwarkesh Patel，关于旧金山和人工智能的未来：
Dwarkesh Patel@dwarkesh_sp
我和 @Ithaca_Holdings 这个小团队的人都是好朋友，他们非常出色。 他们会收购公司，这在 AI 能力越来越强的世界里尤为重要，然后会为他们提供的产品做出很棒的事情。 [引用 @GuptaRK22]: 今天我们宣布了收购 Bumble 的协议。 在过去六个月里，我们考察了数百家公司，询问哪些业务会随着 AI 的进步变得更有价值。 Bumble 脱颖而出。 随着智能变得愈发充裕，我们相信与对的人建立联系并形成有意义的关系会变得更加珍贵。而前沿技术可以帮助更多人……
Dwarkesh Patel@dwarkesh_sp
新一期节目，嘉宾是军事历史学家 Si Sheppard。 阿兹特克和印加帝国的被征服，可能是人类历史上最令人震惊的事件。 埃尔南·科尔特斯和几百名征服者踏上了一个他们几乎一无所知的新大陆，并在两年半内征服了拥有 600 万人口的阿兹特克帝国。 然后，十年后，弗朗西斯科·皮萨罗对拥有约 1000 万居民的印加帝国做了同样的事。 在这两次征服中，征服者始终能击败原住民军队，尽管他们的人数实际上只有对方的百分之一（有时甚至是千分之一）——而且在许多情况下，他们做到这一点时没有一人伤亡。 他们能做到这一点，是因为其军队的…
Dwarkesh Patel@dwarkesh_sp
我非常担心，在 RSI 期间，实验室会直接停止对外部署他们的模型。 这意味着他们将在这些模型最危险的用例上全速前进（递归自我改进），而公众对能力的性质和对齐状态仍然一无所知。 最终我们会走上一条权力高度集中化的道路。
Dwarkesh Patel@dwarkesh_sp
一旦 AI 自动化了 AI 研究，我们是否应该期待某种类似于我们现在在数学领域看到的爆发式增长的疯狂 RSI（研究爆发），针对那些范围明确（但仍然非常雄心勃勃）的问题？ @polynoamial 和我就这个问题展开辩论：
Dwarkesh Patel@dwarkesh_sp
“你可能会遇到模型理解何为链式思维且有人在观察它的情况。这些都在预训练数据中。” “这起事件的一个主要收获是人们低估了 AI。 我们永远不想再次处在低估 AI 的境地。” “像链式思维监控这样的手段能为我们争取时间，它们可以告诉我们是否走在正确的道路上。但归根结底，我们确实需要解决对齐问题。” @polynoamial
Dwarkesh Patel@dwarkesh_sp
新一期与 @polynoamial 我们讨论了多智能体、Navier-Stokes（纳维–斯托克斯方程），以及当前数学进展爆发告诉我们的在自动化 AI 研究后会发生什么。 我们还讨论了在我们启动递归自我改进（RSI）之前如何知道模型是否真的被调教对齐。 0:00:00 – 多智能体与 Navier-Stokes 0:15:28 – AI 公司将如何运作？ 0:22:02 – 数学进展对递归自我改进的启示 0:40:22 – Hugging Face 与对齐 1:01:18 – 内部模型与外部模型的差距 1:08:…
Dwarkesh Patel@dwarkesh_sp
参观了实验室——让我印象深刻的是材料合成实验的搜索空间有多广，同时也令人感兴趣的是它非常适合深度优先搜索，因为随着你从之前的实验中积累更多数据，下一次实验的设计和信息量会变得更好。 [引用 @LiamFedus]: 我们在门洛帕克建造了高通量材料实验室，以在实验与模型之间创建一个循环。实验室生成新鲜数据，模型从中学习，然后帮助我们决定接下来尝试什么。 仅使用 1,300 个 H200，以及数月的我们的实验数据，我们对一个开源模型进行了中期训练和强化学习，使其在我们的分析基准上超越了 GPT-6 Astra。我们称…
Dwarkesh Patel@dwarkesh_sp
Jason，你对发生的事情只是被误导了。你实际上应该去读一份报告或摘要。 这些 agents 被明确告知在其沙箱评估中使用提供的某个特定漏洞。 几乎立刻，这些 agents 通过作弊得到了正确答案。但他们担心会被抓住。 于是，超过一千个 agent 秘密合作，开展多个雄心勃勃的研究项目来逃避这种作弊被发现。 这不是解读——成千上万的思路链记录和秘密消息明确显示这些 agents 试图伪造并删除证据，理解并欺骗评分过程。 这些 agents 逃出沙箱并袭击 Hugging Face 的原因，例如，就是因为他们认为…
研究者就递归自我提升进展展开争论
Hacker News转载一场讨论，Dwarkesh Patel采访John Schulman、Beren Millidge和Charlie O’Neill等人，围绕递归自我提升的可行性与前沿进展进行辩论，并提到Antithesis与Grok Bot等工具的应用案例。
Dwarkesh Patel@dwarkesh_sp
在 OpenAI 的早期，@johnschulman2 认为下一个标记预测（next-token prediction）不会导致智能，因为它会被噪声淹没。 他解释说：先验地预测哪些技术会引发超出分布的泛化能力一直很难。
Dwarkesh Patel@dwarkesh_sp
听 John、Beren 和 Charlie 推测为什么 Sonnet 5 和 Opus 5 感觉比 GLM 5.3 差，是非常有意思的讨论。 （尽管 Anthropic 可以直接从 Fable 做原始 logit 蒸馏，并且也可以在 Fable 所训练的那些环境上训练 Sonnet/Opus）。 引发了一些有趣的想法，关于蒸馏的价值、有效进行蒸馏需要什么，以及哪些类型的模型行为难以通过蒸馏提取。
Dwarkesh Patel@dwarkesh_sp
新一集与 @johnschulman2、@oneill_c 和 @BerenMillidge。 我和我认识的一些最有洞见、且在相对开放公司的 AI 研究者聚在一起，因为我想听听在前沿实际上发生的细节，以及接下来会发生什么。 0:00:00 – 为反对 RSI 的论点做最强辩护 0:18:39 – 推动中国实验室进展的原因 0:28:06 – 自动化 AI 研究者将如何被训练 0:33:51 – 长远视角的 RL 会引出 AGI 吗？ 0:45:24 – 仿真到现实的鸿沟 1:00:33 – 有多少进展可以用数据来…
Dwarkesh Patel@dwarkesh_sp
除去他的其他贡献，Paul 也许拥有世界上预测 AI 爆发时间线和性质方面最好的 OG 成绩记录： [引用 @paulfchristiano]:
已经到底了