GitHub
hadihonarvar/flock: Самохостинговый шлюз для LLM
Flock — это самохостинговый шлюз для LLM, позволяющий превратить Mac и Linux-машины в приватный кластер для инференса. Проект использует Go-бинарник для маршрутизации и шардинга через llama.cpp-RPC, предоставляя совместимые с OpenAI и Anthropic API. Это решение удобно для интеграции с инструментами вроде Cursor, Aider и кастомными SDK.
461 forksGoscore 78.6
ai-gatewayggufllama-cppvllmanthropicprometheussharded-inferenceopenai-compatiblemulti-tenantinference