Назад к дайджесту
Reddit

Разработчик создал планировщик VRAM (vramble) для автоматического переключения моделей на локальной AI-станции

Автор создал слой диспетчеризации запросов vramble, который автоматически загружает и выгружает модели, управляя очередью на основе приоритетов. Это позволяет запускать различные AI-воркфлоу без ручного управления памятью или затрат токенов на оркестровку. Инструмент доступен на GitHub под лицензией MIT.

score 40r/LocalLLaMA