Владеть ИИ-железом тоже непросто: реальная стоимость и сложности

Компания обсуждает покупку HGX B300 для запуска LLM GLM 5.2, оценивая стоимость в €1.1 млн и затраты на обслуживание. Один сервер обеспечивает около 7 тысяч токенов в секунду, что позволяет обслуживать до 180 пользователей RAG или 20 кодеров. Автор отмечает острый дефицит оборудования и сложность его приобретения даже при наличии бюджета.