Исследование: компактная модель на 109 млн параметров превосходит модели до 72B в выравнивании изображений и текста, используя в 42 раза меньше данных

Новое исследование демонстрирует, что небольшая языковая модель с 109 миллионами параметров способна превзойти по качеству выравнивания изображений и текста (image-text alignment) значительно более крупные модели, достигающие 72 миллиардов параметров. Ключевым преимуществом подхода является необходимость использования в 42 раза меньшего объема обучающих данных.