Reddit
Сборка домашнего сервера на четырёх GPU P100
Пользователь собрал сервер на четырёх видеокартах NVIDIA P100 для локального инференса языковых моделей, показав скорость генерации около 50 токенов в секунду. Планируется расширение до шести карт для повышения производительности системы.
score 40r/LocalLLaMA