tokenizers v1: измерение скорости кодирования, декодирования и масштабирования

Выпущена версия 1 библиотеки tokenizers. В материале представлены результаты замеров производительности операций encode и decode, а также оценка масштабирования. Это важный инструмент для обработки текста в NLP-пайплайнах.