A.I. 日报
Raschka发布从零构建推理模型视频课程
Sebastian Raschka推出八集、逾11小时的视频课程，用Python和PyTorch从预训练LLM出发，讲解评估、推理时扩展、强化学习与蒸馏等构建推理模型的方法。该课程是其此前LLM编程课程的续作。
Sebastian Raschka
9 篇报道Sebastian Raschka 是一名机器学习研究者与作者，以《Build a Large Language Model (from Scratch)》等从零实现类教程为人所知。近期报道围绕他的教学与技术评论展开：他发布了由八个视频、超过 11 小时组成的 reasoning-from-scratch 课程，用 Python 和 PyTorch 从预训练模型构建推理模型，内容涵盖评估、推理时扩展、强化学习与蒸馏；他还撰文梳理文本分类从 bag-of-words 到 Transformer、再到 Jev 与校准的演变，并点评了 MiMo-V2.6 的 Grouped Query Attention 架构、Muon 与 AdamW 的对比，以及 OpenArch 这类 PyTorch 架构实现项目。
相关话题
Sebastian Raschka@rasbt
完整的“从零实现推理”视频系列现已上线（链接）在这里： （先短暂休息一下，11 月会带着 LLM 模型和研究更新回来！）
Raschka长文梳理文本分类模型演进
Sebastian Raschka发表视觉指南文章，梳理从词袋、RNN、CNN、Transformer到Jev式API与校准的文本分类技术演进，认为近期发布的Jev模型本质是分类器，但比通用大模型更快更便宜、比专用分类器更通用，文章不构成产品背书。
Sebastian Raschka@rasbt
开源 agent harnesses 的主要吸引力不在于它们是免费的，而在于我们可以检查它们在我们的电脑上做什么。
Sebastian Raschka@rasbt
MiMo-V2.6 目前“只是”最好的（暂时）。尽管其架构设计简单，它目前在开放权重基准测试（加权平均）中排名第一。 所谓“简单”，我指的是经典的群组查询注意力（GQA）配合滑动窗口注意力（SWA），窗口大小仅为 128 个 token。 因此，这突显了我近几个月一直试图提出的一个观点：大部分进展仍然来自数据和后训练配方的改进。花哨的注意力变体主要只是效率上的调整。 有哪些训练数据的改进和配方的改进？MiMo 团队分享了一份相当详细的技术报告。有很多需要仔细消化，但简而言之，有几件事很突出： 1. 代理任务的增加…
Sebastian Raschka@rasbt
关于AdamW与Muon这场老辩论，出现了有趣的新见解：Muon似乎表现更好，是因为它减少了记忆。 [引用 @CalcCon]: 𝗔𝗱𝗮𝗺𝗪 𝘃𝘀. 𝗠𝘂𝗼𝗻：α、过拟合与记忆化。关于我们用WeightWatcher比较AdamW与较新的Muon优化器的实验的快速更新。 我们分别在五个随机种子上用两种优化器训练了单头nanoGPT模型。然后我们用WeightWatcher研究权重矩阵谱以及几种形式的记忆化。 顶部图表显示了平均原始α。…
OpenArch：面向学习的PyTorch LLM架构实现库
OpenArch 是一个手写的 PyTorch 仓库，逐个实现现代开源大模型架构，侧重可读性与教学用途，覆盖多种注意力、归一化与位置编码等设计细节，部分实现可用于前向推理。
Sebastian Raschka@rasbt
DeepSeek V4.1 大改，用了 encoder-decoder 结构。 老实说他们本该叫它 DeepSeek V5！ 真是太酷、很有新意！ [引用 @deepseek_ai]: 🚀 介绍 DeepSeek-V4.1-Flash：更聪明、更快、更高效。 🔹 在我们新架构家族中引入了最小的模型，具有原生视觉理解能力。 🔹 设计用于更强的能力、更快的推理、更高的吞吐量，并可扩展到更大的模型。 1/6
Sebastian Raschka@rasbt
很好的示例，表明有趣的 LLM 工作可以在单个 GPU 上完成！ [引用 @gpjt]: 我把 @rasbt 的 "Build a Large Language Model (from Scratch)" 中的 GPT-2 风格代码扩展成一个 6-expert（2 active）的专家混合模型，并从头训练了 8 天。效果很好！完整的数学和代码说明见
已经到底了