Назад к дайджесту
Reddit

Тестирование оптимизаций маршрутизации Strata для модели Qwen 3.8 Flash Next

Автор тестирует две новые функции маршрутизации Strata (v0.2.7.1): STRATA_ROUTE_PRIOR, предпочитающий экспертов, уже загруженных в VRAM, и STRATA_ROUTE_TAIL_SKIP, пропускающий вычисление менее важных экспертов. Результаты показывают значительный прирост скорости декодирования (с 72.3 до ~104 токенов/с) при незначительном снижении качества в задачах на код, математику и следование инструкциям.

score 40r/LocalLLaMA