Sebastian Raschka @rasbt

MiMo-V2.6 目前“只是”最好的（暂时）。尽管其架构设计简单，它目前在开放权重基准测试（加权平均）中排名第一。 所谓“简单”，我指的是经典的群组查询注意力（GQA）配合滑动窗口注意力（SWA），窗口大小仅为 128 个 token。 因此，这突显了我近几个月一直试图提出的一个观点：大部分进展仍然来自数据和后训练配方的改进。花哨的注意力变体主要只是效率上的调整。 有哪些训练数据的改进和配方的改进？MiMo 团队分享了一份相当详细的技术报告。有很多需要仔细消化，但简而言之，有几件事很突出： 1. 代理任务的增加；还在不同的测试框架上进行训练（在保留测试框架上的 DeepSWE pass@1 平均准确率从大约 50% 提高到 66%）。 2. 更好的奖励信号：他们用查看执行轨迹的代理评分器取代了简单的正确性验证器。 3. 大型 RL 批次（1,568 个提示 × 16 次 rollout = 25,088 条轨迹），每次更新使用 27 亿到 37 亿训练 token（不过不清楚其前身 u…

• Raschka发布从零构建推理模型视频课程2026-10-26
• Raschka长文梳理文本分类模型演进2026-09-30
• OpenArch：面向学习的PyTorch LLM架构实现库2026-09-14