Выбор MoE-модели для локального кодинга на GTX 1080 Ti: перплексия против реальной скорости

Автор тестирует различные MoE-модели (35B, 120B, 176B) на слабом оборудовании с 11 ГБ VRAM для задач генерации кода на Go. В ходе сравнения скорости генерации и перплексии на датасетах WikiText-2 и Go-код выявлена оптимальная модель Qwen3.8-35B-A3B-Q4_K_M, обеспечивающая баланс между скоростью и качеством.