Конвертация плотных моделей в архитектуру Mixture-of-Experts (MoE)

Автор делится результатами конвертации моделей Qwen2.5 в формат Mixture-of-Experts, выпуская версии 0.5B и 1.5B в формате GGUF. Тестирование показывает рост скорости генерации на 32-41% при приемлемом падении качества на бенчмарках, что подтверждает эффективность подхода для ускорения инференса.