Назад к дайджесту
Reddit

Убивает ли оптимизация движков качество модели? Я измерил это

Автор провёл эксперимент с моделью Qwen 3.8 Flash Next, оценив влияние оптимизаций движков Basalt на качество генерации. Изучались два флага: смещение маршрутизации к доступным экспертам и пропуск низкоприоритетных экспертов для ускорения декодирования. Результаты показали, что даже стандартные настройки снижают точность модели, а экстремальные настройки приводят к значительной деградации качества.

score 40r/LocalLLaMA