GitHub
sbproxy: самохостный шлюз и прокси для LLM
Инструмент для развёртывания собственного шлюза управления доступом к языковым моделям с поддержкой OpenAI-совместимого API. Позволяет агрегировать 60+ провайдеров, настраивать бюджеты, контроль безопасности и семантический кэш, а также запускать локальные модели через vLLM.
481 forksRustscore 58.2
api-gatewayai-gatewayopenai-proxyself-hostedllm-proxyvllmllmllm-gatewayllm-routingpingora