Бенчмарк больших языковых моделей на MacBook M5 Max с движком Kapitsa

Разработчики открытого движка Kapitsa для Apple Silicon представили результаты тестирования производительности моделей Qwen, Nemotron, Flint и Clover на MacBook M5 Max. Утилита демонстрирует оптимизацию через кастомные Metal-ядра, обеспечивая ускорение декодирования и префилла по сравнению с альтернативными решениями, а также поддерживает стриминг с SSD для моделей объемом до 180B.