Meta обучила маленькие модели читать сырые байты вместо токенов

Исследователи из Meta провели эксперимент, в котором малые языковые модели (~1B параметров) обучались напрямую на сырых байтах, а не на токенах. Несмотря на то что на ранних этапах обучения модели на токенах показывают лучшие результаты, экстраполяция трендов указывает на то, что байтовые модели могут превзойти аналоги по качеству при достаточном объеме вычислений, используя при этом в 6 раз меньше данных.