TabPFN

研究：仅用合成数据训练的模型可上下文学习语言

一篇论文提出“语言先验”方法：仅用随机递归因果模型生成的合成序列训练300M参数字节级Transformer，冻结权重后读取Wikipedia文本，在英语、中文、印地语、阿拉伯语、日语和韩语六种语言上下一字节预测误差从8 bits/byte降至0.9–2.4。该模型还能上下文完成计数、数字比较和近似加法。