Назад к дайджесту
Reddit

4x RTX 3090, 96 ГБ VRAM: какую модель выбрать для Hermes?

Пользователь настраивает локальный сервер на четырёх видеокартах RTX 3090 и просит совета по выбору модели Hermes и фреймворка (llama.cpp или vllm). Планируется использование железа для экспериментов с ИИ и создания голосового агента с обработкой текста и речи.

score 40r/LocalLLaMA