Ускорение токенизации BERT в 50 раз: оптимизация обработки текста

Статья посвящена оптимизации этапа токенизации для языковых моделей, в частности bert-base-uncased. Авторы показывают, как использование SIMD-инструкций, кеширование Unicode и устранение лишних операций позволили сократить время нормализации текста, которое ранее занимало 88% от общего времени обработки.