ModelSphere: открытая платформа для развертывания LLM в смешанных GPU-кластерах

Компании Phancy Group и RiseUnion выпустили платформу ModelSphere с открытым исходным кодом для промышленного развертывания больших языковых моделей. Решение использует Kubernetes, vLLM и SGLang, предлагая функции автоскейлинга, маршрутизации запросов с учетом кэша и восстановления генераций после сбоев.