Байтовые языковые модели: масштабирование, эмерджентные абстракции и распределение информации

Исследование показывает, что стандартные трансформеры могут эффективно обрабатывать сырые байтовые последовательности без явных токенизаторов, превосходя субсловные модели при увеличении размера параметров. Модель самостоятельно формирует локальные абстракции через механизмы внимания, что позволяет достигать меньшей оптимальной ошибки при том же количестве параметров.