Назад к дайджесту
Reddit

Лучшая модель для пользователей с 48 ГБ унифицированной памяти

Пользователь с Mac M4 Pro и 48 ГБ VRAM ищет оптимальную локальную модель для запуска агентов, которая помещается в 24-30 ГБ памяти. Автор поста интересуется текущими рекомендациями по моделям, предпочтительно архитектуры MoE, для систем с ограниченной вычислительной мощностью, но большим объемом видеопамяти.

score 40r/LocalLLaMA