Языковые модели Byte: масштабирование, эмерджентные абстракции и распределение информации

Исследование посвящено анализу языковых моделей, работающих на уровне байтов, а не токенов. Работа рассматривает эффекты масштабирования таких архитектур, появление эмерджентных абстракций и механизмы распределения информации внутри модели.