Рекурсивный ИИ: Модель Flint 40B на MacBook Pro M4 Pro с использованием движка Kapitsa

Разработчики открытого движка Kapitsa, оптимизированного для Apple Silicon, протестировали новую кодовую модель Flint 40B от Recursive. На MacBook Pro M4 Pro с 48 ГБ памяти модель достигла скорости 128 токенов в секунду, превзойдя аналоги llama.cpp и приблизившись к производительности более крупных моделей Qwen. Также упоминается внедрение спекулятивного декодирования KFlash для дальнейшего ускорения.