Назад к дайджесту
Reddit

RTX 5000 PRO (48 ГБ) прибыла и превзошла мои ожидания

Автор приобрёл видеокарту RTX 5000 PRO для запуска локальных LLM, выбрав её вместо Mac Studio. С помощью vLLM и Linux он достиг скорости генерации 4400 токенов в секунду на модели Qwen3.6-27B-FP8. Обсуждается настройка окружения и использование ИИ-ассистентов для сборки ПК.

score 35r/LocalLLaMA