tokenizers v1 (Rust)

Hugging Face выпустила версию 1 библиотеки tokenizers на Rust. Основные улучшения: поддержка нескольких языков, масштабирование на много потоков и минимальный размер пакета.