GitHub
LLM Swarm Router: оркестрация локальных ИИ-моделей
Утилита для распределения нагрузки LLM между несколькими машинами, объединяющая их в единый рой. Позволяет масштабировать локальные вычисления и значительно ускорить работу с языковыми моделями.
231 forksPythonscore 59.8
vllmlocal-llmollamallama-cppanthropic-apillmlm-studiomacosmesh-networkopenai-api