Назад к дайджесту
Reddit

M1 Max 32GB: попытка запустить Qwen 27B с приемлемой скоростью и контекстом

Пользователь пытается запустить модель Qwen 27B на MacBook Pro M1 Max с 32 ГБ памяти, используя квантование q4, но сталкивается с нехваткой памяти. Он ищет советы по использованию инструментов вроде llama.cpp, MLX и MTPLX для достижения скорости не ниже 1 токена в секунду.

score 40r/LocalLLaMA