Назад к дайджесту
Reddit

Кластер из 16 DGX Spark: обновление сборки

Автор описывает развертывание 16-нодового кластера DGX Spark для инференса LLM. Основной фокус — использование единой памяти для запуска моделей до 434 ГБ и планирование архитектуры префилл/декод. Приведены технические детали сети и сравнение с H100.

score 100r/LocalLLaMA