A.I. 日报
开源仓库收录20项Next-Concept建模研究
独立研究者开源了20项探索性实验，涵盖Next-Concept Modeling、GPT-2机制可解释性及模型控制，包含全部代码与结果，并如实记录负面结论。项目不宣称性能突破，强调可复现性与对照实验。
GPT-2
5 篇报道GPT-2 是 OpenAI 于 2019 年发布的语言模型，当时 OpenAI 以担心恶意滥用为由未完整开放模型权重。近期相关讨论既有对这段发布历史的回顾：有 Reddit 用户重提 2019 年「过于危险不宜发布」的报道，并提到模型基于约 1000 万篇 Reddit 文章、约 40GB 数据训练；也有开发者从零为 GPT-2 small 实现 KV cache，在上下文长度 1000 时把每 token 耗时从 29.69 毫秒降到 4.95 毫秒。此外还有研究在 FineWeb-Edu 的 10B token 样本上，结合冻结的 GPT-2 嵌入做架构实验。
相关话题
从零实现GPT-2 KV缓存并测量性能
一位开发者用PyTorch从零实现了GPT-2 small的KV缓存，并测量了延迟和内存。在上下文长度1000时，缓存将每token时间从29.69毫秒降至4.95毫秒，生成1016个token的总时间从14.66秒降至5.03秒。缓存与未缓存的贪心生成结果在200个token内一致。
网友回顾2019年GPT-2“太危险不宜发布”报道
Reddit用户翻出2019年《卫报》报道，当时OpenAI称GPT-2过于危险而暂不公开完整研究。该模型基于约1000万篇Reddit文章训练，数据量约40GB。发帖人借此感叹“有些人从未改变”。
实验：超曲面约束的动态权重更新
研究者分享了一个小型语言模型架构实验，通过可学习超曲面生成权重增量，循环复用单个解码器块并动态更新其权重，以减少训练参数量和显存占用。在FineWeb-Edu的100亿token样本上预训练，使用冻结的GPT-2嵌入层、NoPE和1024序列长度。
2019 年因恶意风险 GPT-2 未完全发布讨论
Hacker News 讨论 2019 年因担忧恶意应用，OpenAI 决定不完全发布 GPT-2，这一事件被用来讨论模型发布的风险与开源权衡。
已经到底了