开发者自建8M参数小模型实验并询问分享

一位开发者用PyTorch从零构建并训练了约800万参数的小型语言模型，作为复现研究论文的实验平台。目前已训练6万步，下一步计划实现KV缓存、PagedAttention和Orca，并询问社区是否欢迎分享实验博客。

• 开发者发布Transformer手写自动求导PyTorch实现2026-10-28
• GPU内核开发环境搭建实用要点2026-10-27
• Deepity开源C++/CUDA预测编码库，MNIST上优于JAX方案2026-10-27
• Raschka发布从零构建推理模型视频课程2026-10-26
• 开发者提出2比特草稿加内存残差的投机解码方案2026-10-22