Reddit
Qwen3.8-27B со скоростью 144 ток/с на MacBook Pro с M5 Max
Представлен open-source движок инференса Inco Splash, оптимизированный для Apple silicon. Он обеспечивает до 3× скорость декодирования по сравнению с Ollama, 2× по сравнению с oMLX и почти 4× при работе агентов с под-агентами. Установка выполняется одной командой через brew, также доступен в LM Studio.
score 40r/LocalLLaMA