Meta训练字节级小模型，预测长期优于词元模型

Meta训练约10亿参数的字节级小模型，并用Llama 3 8B蒸馏，训练初期落后于词元模型，但后段持续提升。作者外推曲线称其有望超过Llama 3.2 1B和Gemma 3 1B，且达到同等水平所需文本约少6倍，但该结论尚未在真实训练中实现。

• AI债务怪兽：基础设施支出隐藏风险2026-10-24
• 马斯克欲合并SpaceX与特斯拉，Meta留住扎克伯格2026-10-23
• Meta推迟执行新商业条款 回应出版商AI抓取担忧2026-10-23
• Meta开源816B模型Muse Spark Open评测39分，Qwen3.8-Flash-Next以180B得40分2026-10-23
• 企业收紧AI开支，OpenAI与Anthropic面临定价压力2026-10-23