Reddit
Убивает ли оптимизация движков качество модели? Я измерил это
Автор провёл эксперимент с моделью Qwen 3.8 Flash Next, оценив влияние оптимизаций движков Basalt на качество генерации. Изучались два флага: смещение маршрутизации к доступным экспертам и пропуск низкоприоритетных экспертов для ускорения декодирования. Результаты показали, что даже стандартные настройки снижают точность модели, а экстремальные настройки приводят к значительной деградации качества.
score 40r/LocalLLaMA