Сравнение производительности LLM Nanbeige4.3-33B на Apple Silicon: mlx-lm против llama.cpp и Kapitsa

Автор провел бенчмарк 33-миллиардной модели Nanbeige4.3 (квантование Q4) на MacBook Pro M5 Max, сравнив скорости префилла и декодирования в движках mlx-lm, llama.cpp и Kapitsa. Тестирование охватывало длины контекста от 512 до 32K токенов, показав, что Kapitsa с KFlash демонстрирует наилучшие результаты по скорости декодирования, хотя общая эффективность модели оценивается как низкая из-за высокого потребления памяти KV-кэша.