Reddit
Кластер из 16 DGX Spark: обновление сборки
Автор описывает развертывание 16-нодового кластера DGX Spark для инференса LLM. Основной фокус — использование единой памяти для запуска моделей до 434 ГБ и планирование архитектуры префилл/декод. Приведены технические детали сети и сравнение с H100.
score 100r/LocalLLaMA