Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

Статья объясняет, как токенизация влияет на стоимость и скорость работы нейросетей с русским языком. Из-за особенностей разбиения текста на токены русский текст требует больше ресурсов, чем английский, что удорожает запросы и сокращает полезный контекст.