Allen Institute for AI

研究：字节级大模型可克服子词分词缺陷

LMU、Allen人工智能研究所、剑桥、华盛顿大学和帝国理工的研究者在《Nature》发表方法，可将现有大模型转为字节级模型而无需从头重训，仅需常规训练不到1%的算力，基本保留原性能并新增字节级能力，在拼写倒写等字符级任务上明显更优，性能超过此前所有同规模字节级模型。