GitHub
EvolvingInfra: адаптивный фреймворк для инференса ИИ-агентов
Проект EvolvingInfra представляет собой фреймворк для запуска инференса, способный адаптироваться к разнообразным и динамически меняющимся нагрузкам от ИИ-агентов. Решение направлено на оптимизацию производительности в условиях изменчивого спроса на вычислительные ресурсы.
705 forksPythonscore 83.2
distributed-systemsllmsystemllm-agents