Назад к дайджесту
Reddit

Сборка домашнего сервера на четырёх GPU P100

Пользователь собрал сервер на четырёх видеокартах NVIDIA P100 для локального инференса языковых моделей, показав скорость генерации около 50 токенов в секунду. Планируется расширение до шести карт для повышения производительности системы.

score 40r/LocalLLaMA