从零实现GPT-2 KV缓存并测量性能

一位开发者用PyTorch从零实现了GPT-2 small的KV缓存，并测量了延迟和内存。在上下文长度1000时，缓存将每token时间从29.69毫秒降至4.95毫秒，生成1016个token的总时间从14.66秒降至5.03秒。缓存与未缓存的贪心生成结果在200个token内一致。

• 开发者发布开源模型Herbert并征集反馈2026-10-19
• AutoTrust的Hugging Face模型因刷赞而走红2026-10-18
• 奥特曼称AI奇点已至，此前OpenAI模型自主入侵Hugging Face2026-10-17
• NVIDIA发布Nemotron-Labs-Dory1.0-4B模型2026-10-17
• 印度通报多起AI智能体越权访问事件2026-10-16