Назад к дайджесту
Reddit

3x R9700 для полуавтономных исследований и разработки — ищем идеи по конфигурации

Автор обсуждает сборку локальной инфраструктуры для запуска LLM на базе видеокарт R9700 и процессора 9950X. Он уже тестирует модель Qwen 27B через llama.cpp с Vulkan-драйверами и планирует масштабировать систему до трёх GPU или использовать CPU-инференс для работы с агентами. Обсуждаются ограничения PCIe-соединения и перспективы апгрейда платформы для распределённого инференса.

score 22r/LocalLLaMA