Исследование Looping: 20B-модель достигает уровня Qwen3 Coder 30B при 10% токенов обучения

Авторы работы представляют архитектуру Looping для обучения модели на 20 миллиардов параметров, которая, по утверждению, превосходит Qwen3 Coder 30B. Ключевое преимущество — использование лишь 10% от стандартного количества токенов предобучения (3,5 трлн вместо 35 трлн), что снижает стоимость до сотен тысяч долларов. Это открывает перспективы для предобучения LLM в домашних условиях.