Назад к дайджесту
Reddit

Как увеличить память DGX Spark с помощью внешнего GPU

Разработчик представил репозиторий с модификациями vLLM, позволяющими переносить черновые модели спецификации-декода на домашние GPU с объемом 10-24 ГБ. Это освобождает память на кластере DGX Spark для увеличения контекста или улучшения качества квантования, поддерживая протоколы TCP и RDMA.

score 40r/LocalLLaMA