Запуск 30-миллиардной MoE-модели Nemotron на CPU с контекстом 256K

Проект демонстрирует возможность эффективного выполнения большой языковой модели Nemotron-30B на процессоре без GPU. Используются гибридная архитектура Mamba-2, оптимизации AVX-512 и огромные страницы памяти для достижения скорости 30-50 токенов в секунду при окне контекста 256K.