Назад к дайджесту
Reddit

Какая модель наиболее стабильна для запуска на Mac с 32 ГБ ОЗУ при контексте 256k?

Пользователь ищет стабильное решение для запуска LLM (~30B) с контекстом 256k на Mac с 32 ГБ ОЗУ. Он испытывает проблемы с крашами и латентностью в агентных сценариях и просит рекомендаций по софту (llama.cpp, MLX) и квантованию. Цель — локальная система памяти для суммаризации.

score 16r/LocalLLaMA