GitHub
Shaide: распределённый self-hosted инференс для нескольких LLM
Проект представляет собой распределённую систему для самостоятельного развертывания и запуска инференса больших языковых моделей. Поддерживает работу с несколькими моделями одновременно, что позволяет гибко управлять вычислительными ресурсами.
381 forksGoscore 65.2
ai-platformlocal-aienterpise-aimlopsllmsvllmembeddingsself-hostedk8sllm