Назад к дайджесту
GitHub

Shaide: распределённый self-hosted инференс для нескольких LLM

Проект представляет собой распределённую систему для самостоятельного развертывания и запуска инференса больших языковых моделей. Поддерживает работу с несколькими моделями одновременно, что позволяет гибко управлять вычислительными ресурсами.

381 forksGoscore 65.2
ai-platformlocal-aienterpise-aimlopsllmsvllmembeddingsself-hostedk8sllm