Токенизация: обзор для современного NLP

Группа из 32 исследователей подготовила наиболее полный обзор области токенизации в языковом моделировании. В работе рассмотрены алгоритмы, оценки, многоязычность, кодировки, теория, а также альтернативные подходы, такие как латентная и визуальная токенизация. Особое внимание уделено смежным темам: ограниченной генерации, восстановлению токенов и вопросам безопасности.