GitHub
T-Crypt: менеджер распределения GPU для чередования загрузки моделей
Инструмент на Go управляет доступом к GPU, позволяя чат-ботам, генераторам изображений и голосовым движкам арендовать видеокарту по очереди. Это предотвращает одновременную загрузку нескольких моделей и их конфликты, обеспечивая стабильную работу без необходимости установки дополнительных зависимостей.
847 forksGoscore 83.7
self-hostedcomfyuivraminferencellama-swaplocal-aiollamagolanggpullm