Назад к дайджесту
Reddit

Оптимизация Strata: тонкая настройка для максимальной производительности

Автор делится результатами тестирования параметров запуска модели Strata, выявившими значительный прирост скорости декодирования. Особое внимание уделено настройкам --pcie-frac, --pool-workers, --trim-stage-weights и --pipeline-windows, а также правильному распределению нагрузки между GPU с разной пропускной способностью PCIe.

score 40r/LocalLLaMA