Как токенизатор GPT-4o обрабатывает слово 'strawberry': визуализация и объяснение

Видео демонстрирует работу токенизатора o200k_base на примере слова 'strawberry', показывая, как оно разбивается на токены через алгоритм Byte Pair Encoding. Объясняется, почему наличие пробела или заглавной буквы меняет последовательность токенов и как это влияет на способность моделей к точному подсчету символов.