Reddit
M1 Max 32GB: попытка запустить Qwen 27B с приемлемой скоростью и контекстом
Пользователь пытается запустить модель Qwen 27B на MacBook Pro M1 Max с 32 ГБ памяти, используя квантование q4, но сталкивается с нехваткой памяти. Он ищет советы по использованию инструментов вроде llama.cpp, MLX и MTPLX для достижения скорости не ниже 1 токена в секунду.
score 40r/LocalLLaMA