Olla v0.1.0: легкий open-source прокси для локального запуска LLM с балансировкой и отказоустойчивостью

Выпущена версия 0.1.0 инструмента Olla, написанного на Go, который выступает в роли прокси и балансировщика нагрузки для локальных инференс-серверов. Утилита объединяет разрозненные бэкенды (Ollama, vLLM, SGLang, llama.cpp и другие) в единую флоту, обеспечивая маршрутизацию запросов, отказоустойчивость, sticky-сессии и совместимость с API OpenAI и Anthropic.