Тестирование кластера из двух Mac Studio M5 Ultra для запуска GLM и Qwen

Автор делится результатами бенчмарков локальных LLM на конфигурации из двух Mac Studio с чипами M5 Ultra (256 ГБ ОЗУ). Тестировались модели GLM 5.3 Flash и Qwen Flash Next в форматах q6 с использованием различных фреймворков, таких как Tensorfold и ninfer. Отмечается, что Qwen Flash Next показал наилучшую скорость декодирования (200 токенов/с), в то время как GLM оказался слишком медленным для комфортной работы.