Reddit
Лучший движок для MoE-моделей: сравнение Strata и Basalt
Пользователь делится опытом использования движков Strata и Basalt для запуска MoE-моделей, таких как Qwen3.8. Отмечается, что Basalt обеспечивает более высокую скорость генерации (110-170 токенов в секунду) и более точные ответы по сравнению с Strata, который страдал от ошибок контекста.
score 40r/LocalLLaMA