Назад к дайджесту
Reddit

Планирование апгрейда домашней AI-фермы: от RTX 3090 к серверному решению на базе Threadripper и 6 GPU

Автор рассматривает консолидацию нескольких потребительских ПК с видеокартами NVIDIA RTX 3090 и 3060 в единый сервер на базе платформы AMD Threadripper PRO для запуска крупных LLM и MoE-моделей. Обсуждается целесообразность покупки б/у рабочей станции Supermicro с поддержкой до шести GPU и сравнение стоимости такого решения с текущими ценами на вторичном рынке видеокарт.

score 40r/LocalLLaMA