研究者训练出仅2万参数的微型语言模型
开发者发布MacroStories,仅19,969个参数、81 KB,比百万参数的TinyStories小约50倍,比AlexNet小约3000倍。该模型在受限故事分布内能生成100至300词的完整叙事,可在CPU上运行,探索连贯叙事生成的下限。
AI 日报收录的 TinyStories 相关报道,共 1 篇,按时间倒序,每小时更新。
开发者发布MacroStories,仅19,969个参数、81 KB,比百万参数的TinyStories小约50倍,比AlexNet小约3000倍。该模型在受限故事分布内能生成100至300词的完整叙事,可在CPU上运行,探索连贯叙事生成的下限。