Reddit
Как увеличить память DGX Spark с помощью внешнего GPU
Разработчик представил репозиторий с модификациями vLLM, позволяющими переносить черновые модели спецификации-декода на домашние GPU с объемом 10-24 ГБ. Это освобождает память на кластере DGX Spark для увеличения контекста или улучшения качества квантования, поддерживая протоколы TCP и RDMA.
score 40r/LocalLLaMA