Метод DynamicTune: 0.8B модель превзошла 2B на ARC-Challenge без обратного распространения ошибки

Исследователи представили метод DynamicTune, использующий замкнутую линейную алгебру для переноса траектории обучения от большой модели к маленькой за 12 минут без градиентного спуска. Независимая проверка на GPU NVIDIA L4 показала, что модифицированная модель на 0.8B параметров достигла точности 42.15% на ARC-Challenge, превзойдя стандартную модель на 2B (41.10%) и результаты SFT-дистилляции.