3 способа ускорить вывод MoE-моделей на NVIDIA DGX Spark

Рассматриваются методы оптимизации вывода смесей экспертов (MoE), включая использование бэкенда Humming MXFP4, онлайн-квантование LM-головы в FP8 и спекулятивное декодирование MTP. Применение всех трех методов вместе позволяет увеличить пропускную способность декодирования на 185% по сравнению с базовым уровнем.