第 2026-09-21 期 · 行业追踪 · 开源 · 产品

Hugging Face发布tokenizers v1,速度提升数十倍

Hugging Face发布tokenizers v1,速度提升数十倍

Hugging Face推出tokenizers v1候选版,重点优化性能,称相比v0.23常快数十倍。团队称在大规模训练、高并发服务和长输入场景下,分词可能成为瓶颈,拖慢GPU利用效率。IBM、NVIDIA和ExecuTorch团队参与了补丁和跨硬件测试。

Hugging Face Blog27 小时前
查看原文 ↗