Назад к дайджесту
Reddit

Лучший движок для MoE-моделей: сравнение Strata и Basalt

Пользователь делится опытом использования движков Strata и Basalt для запуска MoE-моделей, таких как Qwen3.8. Отмечается, что Basalt обеспечивает более высокую скорость генерации (110-170 токенов в секунду) и более точные ответы по сравнению с Strata, который страдал от ошибок контекста.

score 40r/LocalLLaMA