Развертывание локального ИИ-инфраструктуры на базе 4 GPU RTX 6000 Blackwell для компании

Автор описывает архитектуру локального ИИ-кластера для обслуживания 40 сотрудников, включая 10 разработчиков. Система построена на сервере с четырьмя GPU NVIDIA RTX 6000 Blackwell MaxQ, использует LXC-контейнеры, прокси API BiFrost и различные модели (Deepseek V4 Flash, Qwen, K2-Horizon) через vLLM и llama.cpp.