第 2026-11-09 期 · 行业追踪 · 研究 · 开源
开源项目从零用C++/CUDA讲解LLM推理

Hacker News上出现一个教学项目samir-vllm,通过用C++和CUDA构建小型推理引擎,从第一性原理讲解LLM推理流程。配套内容包含6小时以上视频和80多页手写笔记,覆盖权重加载、RMSNorm、RoPE、自注意力、KV缓存、批处理与Paged Attention。项目已支持加载Llama 3.2 1B Instruct的safetensors权重。
查看原文 ↗
Hacker News上出现一个教学项目samir-vllm,通过用C++和CUDA构建小型推理引擎,从第一性原理讲解LLM推理流程。配套内容包含6小时以上视频和80多页手写笔记,覆盖权重加载、RMSNorm、RoPE、自注意力、KV缓存、批处理与Paged Attention。项目已支持加载Llama 3.2 1B Instruct的safetensors权重。
查看原文 ↗