研究:字节级大模型可克服子词分词缺陷
LMU、Allen人工智能研究所、剑桥、华盛顿大学和帝国理工的研究者在《Nature》发表方法,可将现有大模型转为字节级模型而无需从头重训,仅需常规训练不到1%的算力,基本保留原性能并新增字节级能力,在拼写倒写等字符级任务上明显更优,性能超过此前所有同规模字节级模型。
华盛顿大学是美国西雅图的一所公立研究型大学,其研究人员广泛参与人工智能研究与公共讨论。近期报道涉及该校参与发表的 Nature 方法,可将现有大语言模型转为字节级模型且仅用不到 1% 的常规算力;该校教授 Emily Bender 认为 AI 的“存在性”风险是“虚假的”,应关注环境成本、劳动者冲击与错误信息等现实危害;兼职教授 Chirag Shah 则表示人类灭绝不太可能,更应关注招聘算法偏见与智能体行为缺乏监管等问题。
LMU、Allen人工智能研究所、剑桥、华盛顿大学和帝国理工的研究者在《Nature》发表方法,可将现有大模型转为字节级模型而无需从头重训,仅需常规训练不到1%的算力,基本保留原性能并新增字节级能力,在拼写倒写等字符级任务上明显更优,性能超过此前所有同规模字节级模型。
华盛顿大学教授Emily Bender认为AI安全讨论过度聚焦假想的生存威胁,却忽视当下已发生的环境成本、劳动者受冲击、监控、虚假信息和聊天机器人依赖等危害;她主张AI系统访问外部网络的事件应由部署企业负责,而非视为模型自主“失控”。
前Anthropic研究员Jacob Coxon警告AI可能在本十年威胁人类生存,但华盛顿大学副教授Chirag Shah认为人类灭绝情景并不现实。Shah指出现实风险来自招聘算法偏见、无监管的“自主AI”行动以及对批判性思维和教育的侵蚀,并提到美中AI竞赛使放缓研发变得困难。