Адаптация InferSim для моделирования загрузки промышленных GPU

Автор делится опытом кастомизации открытого симулятора InferSim от Alibaba для моделирования загрузки оборудования при ML-инференсе. Статья описывает практические аспекты планирования GPU-инфраструктуры для больших языковых моделей в условиях российского рынка. Рассматриваются вопросы закупки ускорителей и оптимизации затрат на ML-инфраструктуру.