32位研究者发布现代NLP分词综合综述

32位分词研究者历时约8个月完成一份现代NLP分词综合综述，覆盖算法、评测、多语言、编码与理论等方面，还涉及潜在或视觉分词等替代方案，以及约束生成、token修复和分词器安全等相邻议题。