Reddit
4x RTX 3090, 96 ГБ VRAM: какую модель выбрать для Hermes?
Пользователь настраивает локальный сервер на четырёх видеокартах RTX 3090 и просит совета по выбору модели Hermes и фреймворка (llama.cpp или vllm). Планируется использование железа для экспериментов с ИИ и создания голосового агента с обработкой текста и речи.
score 40r/LocalLLaMA