MTP для MoE-моделей: почему это важно

Автор тестирует технику многопоточного предсказания токенов (MTP) на MoE-моделях через llama.cpp, фиксируя рост скорости генерации до 50%. Приведены конкретные настройки гиперпараметров для разных задач и конфигураций железа. Практический опыт оптимизации инференса для энтузиастов и разработчиков.