Токенизация: почему ИИ не может просто посчитать буквы «r» в слове «strawberry»?

Статья разбирает механизм токенизации в больших языковых моделях на классическом примере со словом «strawberry». Материал основан на разборе видео Андрея Карпатого и книги «Build a Large Language Models from Scratch». Понимание того, как модель видит текст, критически важно для эффективной работы с промптами.