OpenEBFM: Могут ли энергетические модели масштабироваться как фундаментальные модели? Код и веса опубликованы

Исследователи представляют OpenEBFM — архитектуру на основе энергетических моделей, которая разделяет генерацию на этап энергетического рулевого управления и предсказания токенов. Эксперименты показывают, что такие модели превосходят базовые GPT-архитектуры по метрике BPB и точности в задачах zero-shot QA при масштабировании по данным и параметрам.