IFM/K2-Horizon-MoVA-36B-A4B-GGUF · Hugging Face

Компания IFM выпустила разреженную модель K2-Horizon-MoVA-36B-A4B — Mixture-of-Experts с вниманием на основе смеси значений (MoVA), хранящую 36 млрд параметров и активирующую 4 млрд на токен. Модель показывает результаты уровня frontier-класса при 4B активных параметров, превосходя на агентных и рассуждательных бенчмарках плотные модели ~30B и MoE-модели до 15 раз большего размера, а также конкурирует с закрытыми frontier-моделями. Поддерживается нативный контекст в 524 288 токенов; промежуточные чекпоинты, данные и код обучения будут опубликованы.