Сравнение производительности новых движков для Apple Silicon: KFlash против Splash и MLX на Qwen

Разработчики проекта Kapitsa представили версию 0.2 с новым методом спекулятивного декодирования KFlash, который использует дерево кандидатов для ускорения генерации. В бенчмарках на MacBook Pro M4 Pro и M1 Pro с моделями Qwen показано, что KFlash превосходит Inference Splash 1.4.0 и другие популярные движки, такие как MLX и llama.cpp, достигая до 161 токена в секунду на модели 27B.