Назад к дайджесту
Reddit

Qwen3.8-27B со скоростью 144 ток/с на MacBook Pro с M5 Max

Представлен open-source движок инференса Inco Splash, оптимизированный для Apple silicon. Он обеспечивает до 3× скорость декодирования по сравнению с Ollama, 2× по сравнению с oMLX и почти 4× при работе агентов с под-агентами. Установка выполняется одной командой через brew, также доступен в LM Studio.

score 40r/LocalLLaMA