Hugging Face发布Olmo-core 3开源MoE训练框架
Hugging Face推出Olmo-core 3开源训练框架,可将混合专家模型扩展至万亿参数级,同时保持计算效率。基准测试中专家池从8增至128、总参数从46亿增至470亿,训练吞吐量仅下降不到5%。
AI 日报收录的 OlmoE 相关报道,共 1 篇,按时间倒序,每小时更新。
Hugging Face推出Olmo-core 3开源训练框架,可将混合专家模型扩展至万亿参数级,同时保持计算效率。基准测试中专家池从8增至128、总参数从46亿增至470亿,训练吞吐量仅下降不到5%。