meng shao

meng shao 是在 X 上分享 AI 学习资源的博主，内容以课程笔记和技术讲解为主。近期帖子先整理了 Stanford、CMU、MIT 的 AI 课程清单，包括 Stanford 的 CS329A、CS329Z、CS146S，以及 Percy Liang 与 Tatsu Hashimoto 执教的 CS336 和 Percy Liang 执教的 CS221；随后转述 Together AI 工程师 Zain 对 LLM 推理生命周期的讲解，涉及 prefill、decode、KV 缓存、连续批处理与前缀缓存。

meng shao@shao__meng

204 赞 · 55 转发 · 50 天前

一个请求进入 LLM 推理引擎后，到底经历了什么？ Together AI 工程师 Zain 讲明白了一个请求的一生：一次传播产一个 token，prefill 吃算力、decode 吃显存，KV 缓存、连续批处理层层接力，Agent 循环再把 GPU 榨干。前缀缓存让 100 轮 Agent 计算量从 55 倍降到 10 倍。

meng shao@shao__meng

204 赞 · 66 转发 · 50 天前

Stanford、CMU 和 MIT 三所顶级大学的 5 门 AI 课程之外，再分享两门更偏理论和基础的课程。 CS336: Language Modeling from Scratch Stanford AI 课程链的顶点实现课，由 Percy Liang 与 Tatsu Hashimoto 联合执教，从零亲手构建一个完整的语言模型。 CS221: Artificial Intelligence: Principles and Techniques Stanford AI 的本科主干入门课，由 Perc…

meng shao@shao__meng

237 赞 · 61 转发 · 53 天前

最近分享的 5 门来自 Stanford、CMU 和 MIT 三所大学的 AI 课程，我再整合分享一次，视频内容很多，可以先收藏慢慢学习 🔖 1. 斯坦福大学 CS329A Self-Improving AI Agents 人定义意图、Agent 执行的新软件工程 2. 斯坦福大学 CS 329Z: Engineering AI Agents 从模型到系统：流水线 → 复合 AI → 自主 Agent 3. 斯坦福大学 CS146S: The Modern Software Developer 人定义意图、A…

已经到底了