Назад к дайджесту
GitHub

LLM Swarm Router: оркестрация локальных ИИ-моделей

Утилита для распределения нагрузки LLM между несколькими машинами, объединяющая их в единый рой. Позволяет масштабировать локальные вычисления и значительно ускорить работу с языковыми моделями.

231 forksPythonscore 59.8
vllmlocal-llmollamallama-cppanthropic-apillmlm-studiomacosmesh-networkopenai-api