A.I. 日报
开发者自建8M参数小模型实验并询问分享
一位开发者用PyTorch从零构建并训练了约800万参数的小型语言模型，作为复现研究论文的实验平台。目前已训练6万步，下一步计划实现KV缓存、PagedAttention和Orca，并询问社区是否欢迎分享实验博客。
PyTorch
22 篇报道PyTorch 是 Meta 维护的开源深度学习框架，以 Python 张量和动态神经网络为核心，提供 GPU 加速。近期报道集中在后端与性能上：PyTorch 2.15 为 Mac MPS 带来 FP8，MoE 解码快 5–6.5 倍，Qwen3.6-35B-A3B 在 M3 Ultra 上从 9.4 提升到 61.3 tokens/s；Hugging Face 则推出 TorchTPU 与 TorchNeuron，让 Transformers 和 Diffusers 直接跑在 TPU 与 AWS Trainium 上。此外还有从零实现 transformer 手动反向传播、GPT-2 KV cache 等教程类内容。
相关话题
开发者发布Transformer手写自动求导PyTorch实现
一位开发者公开了一个极简、自包含的PyTorch实现，为基于Transformer的分类器手工编写反向传播，帮助理解自动求导底层机制，并附GitHub仓库和Colab笔记本。
GPU内核开发环境搭建实用要点
一篇r/MachineLearning帖子汇总了GPU内核开发环境搭建中常被忽视的问题：CUDA 13已放弃Maxwell、Pascal和Volta架构，需按计算能力选装工具链；PyTorch自带CUDA运行时，不能说明nvcc可用；GPU启动为异步，需预热、同步并用CUDA事件计时，否则测的是入队时间。
Deepity开源C++/CUDA预测编码库，MNIST上优于JAX方案
开发者发布从零构建的预测编码引擎Deepity，采用C++20与手写AVX2/AVX-512 SIMD内核，并提供CUDA后端和Python绑定。在相同配置下，它在MNIST上达到98.21%准确率、耗时487.5秒，优于jpc的97.55%和ngc-learn的98%（1707.7秒）。
Raschka发布从零构建推理模型视频课程
Sebastian Raschka推出八集、逾11小时的视频课程，用Python和PyTorch从预训练LLM出发，讲解评估、推理时扩展、强化学习与蒸馏等构建推理模型的方法。该课程是其此前LLM编程课程的续作。
开发者提出2比特草稿加内存残差的投机解码方案
一位开发者在Hugging Face发布方案：GPU保留2比特模型做草稿，系统内存保存6至8比特残差供验证，仅激活值经PCIe传输，使草稿不额外占用显存。实测6比特残差质量接近Q8_0，但读取字节少约28%。
Hugging Face支持TorchTPU原生PyTorch后端
Hugging Face宣布TorchTPU为PyTorch带来原生TPU后端，Transformers、Diffusers和Kernels可直接在TPU上运行，只需将模型发送到“tpu”。该后端包含适配TPU的Pallas内核和分布式训练支持，此前所需的Optimum TPU不再必需。
PyTorch 2.15为Mac的MPS后端带来FP8支持
Hugging Face的PyTorch团队介绍了2.15版本在Apple MPS后端上的改进：新增FP8支持，MoE模型解码速度较2.14提升5至6.5倍，Qwen3.6-35B-A3B在M3 Ultra上从每秒9.4个token提升到61.3个token。此外，softmax速度提升约8倍，Wan2.2视频VAE解码的峰值内存从270GiB降至8GiB。
开源GPU内核工程系列课程发布，覆盖GEMM到FlashAttention
一名开发者推出44节免费GPU内核工程视频系列，从朴素GEMM讲到FlashAttention，并覆盖H100与Blackwell架构、TMA、WGMMA、CUTLASS、FP8/NVFP4等主题，代码公开，目前仍在制作中。
Hugging Face推TorchNeuron原生支持Trainium
Hugging Face介绍TorchNeuron，这是AWS Trainium上的PyTorch原生后端，支持eager模式、torch.compile及FSDP等分布式API。Transformers、Diffusers等库可直接运行，无需再经Optimum Neuron；公开测试版将于2026年10月20日开放，可通过pip安装。
从零实现GPT-2 KV缓存并测量性能
一位开发者用PyTorch从零实现了GPT-2 small的KV缓存，并测量了延迟和内存。在上下文长度1000时，缓存将每token时间从29.69毫秒降至4.95毫秒，生成1016个token的总时间从14.66秒降至5.03秒。缓存与未缓存的贪心生成结果在200个token内一致。
英特尔发布D270推理GPU，主打代理式AI工作负载
英特尔发布面向数据中心的推理优化GPU D270，最高480GB LPDDR5X显存，无需HBM，采用32个Xe3P核心与256个XMX引擎加速prefill。该卡为风冷标准PCIe形态，主打代理式AI长上下文与高并发场景下的每瓦token效率。
pytorch
支持 GPU 加速的 Python 张量与动态神经网络库。
pytorch
Python 张量和动态神经网络，具有强大的 GPU 加速。
PyTorch
支持强GPU加速的Python张量与动态神经网络库。
丰田Woven MLE面试聚焦PyTorch调试
一位求职者分享Woven by Toyota感知方向MLE面试准备，该轮考核ML编程与调试，涵盖Python基础、PyTorch张量操作与维度、常见训练代码模式及静默失败排查。他列举了已练习内容并征求更多建议。
MaRN：通过低维参数映射训练神经网络的PyTorch库
作者发布MaRN库，用优化紧凑隐表示替代直接训练全部参数。基准显示MNIST CNN可训练参数从约10.8万降至1872个（57.7倍），准确率91.80%；但映射模型训练明显更慢，任务效果不一，作者称结果仅为探索性，不证明普遍优于直接训练。
Laya新增OpenVINO支持：CPU上每题40毫秒
开发者Rupesh为Laya添加OpenVINO支持，在CPU上每题仅需40毫秒，比PyTorch快3.4倍。项目已在GitHub开源，并附带Flappy Bird演示。
DiffusionGemma：从零用PyTorch实现并行文本生成
有研究者分享DiffusionGemma项目，介绍扩散语言模型如何并行生成文本，并从零用PyTorch实现，属于探索非自回归文本生成路径的技术分享。
Foundation Model Engineering 教材发布
《Foundation Model Engineering》是面向工程师与研究导向读者的技术教材，系统讲解基础模型的架构、训练与推理流水线、检索与评估等工程权衡，包含概念性 PyTorch 示例、测验与交互可视化，旨在帮助读者建立连贯的工程判断。
OpenArch：面向学习的PyTorch LLM架构实现库
OpenArch 是一个手写的 PyTorch 仓库，逐个实现现代开源大模型架构，侧重可读性与教学用途，覆盖多种注意力、归一化与位置编码等设计细节，部分实现可用于前向推理。
本地 LLM 爱好者：别被 FOMO 和硬件吹风卷走
劝诫本地LLM爱好者别被FOMO推动过度花费：通过API或小模型也能学很多，建议以经济与学习友好的节奏入门，切勿盲目购置高端硬件。
已经到底了