meng shao@shao__meng
一个请求进入 LLM 推理引擎后,到底经历了什么? Together AI 工程师 Zain 讲明白了一个请求的一生:一次传播产一个 token,prefill 吃算力、decode 吃显存,KV 缓存、连续批处理层层接力,Agent 循环再把 GPU 榨干。前缀缓存让 100 轮 Agent 计算量从 55 倍降到 10 倍。 https://t.co/5UHjEWdeiK
meng shao 是一位在 X 上分享 AI 工程与学术课程资源的信息整理者。最近他转发并讲解了 Together AI 工程师 Zain 的 LLM 推理生命周期解析,并整理推荐了多门大学 AI 课程(如 Stanford 的 CS336、CS221、CS329A、CS329Z、CS146S 等)。
一个请求进入 LLM 推理引擎后,到底经历了什么? Together AI 工程师 Zain 讲明白了一个请求的一生:一次传播产一个 token,prefill 吃算力、decode 吃显存,KV 缓存、连续批处理层层接力,Agent 循环再把 GPU 榨干。前缀缓存让 100 轮 Agent 计算量从 55 倍降到 10 倍。 https://t.co/5UHjEWdeiK
Stanford、CMU 和 MIT 三所顶级大学的 5 门 AI 课程之外,再分享两门更偏理论和基础的课程。 CS336: Language Modeling from Scratch Stanford AI 课程链的顶点实现课,由 Percy Liang 与 Tatsu Hashimoto 联合执教,从零亲手构建一个完整的语言模型。 CS221: Artificial Intelligence: Principles and Techniques Stanford AI 的本科主干入门课,由 Perc…
最近分享的 5 门来自 Stanford、CMU 和 MIT 三所大学的 AI 课程,我再整合分享一次,视频内容很多,可以先收藏慢慢学习 🔖 1. 斯坦福大学 CS329A Self-Improving AI Agents 人定义意图、Agent 执行的新软件工程 https://t.co/qkXLsdlDmT 2. 斯坦福大学 CS 329Z: Engineering AI Agents 从模型到系统:流水线 → 复合 AI → 自主 Agent https://t.co/q7whzZSWub 3. 斯坦福…