Выход NVIDIA Nemotron Bolt 3.5 74B: эффективная MoE-модель с 2-битным квантованием

NVIDIA анонсировала выпуск модели Nemotron Bolt 3.5 74B с архитектурой mixture-of-experts, где 74 миллиарда параметров используют только 9 активных. Модель упакована в 24 ГБ с помощью 2-битного квантования и продвинутого обучения, что обеспечивает баланс между скоростью и интеллектом, превосходя плотные модели по скорости и MoE-аналоги по качеству при схожем объеме памяти.