От одной RTX 3090 до кластера из 20 DGX Spark: домашние предохранители стали первым ограничением

Автор описывает эволюцию домашнего сервера для локального запуска больших языковых моделей: от одной видеокарты до кластера из 20 узлов NVIDIA. Статья детально разбирает технические решения для запуска моделей размером до 397B параметров, проблемы с энергопотреблением и тепловыделением, а также преимущества использования специализированных аппаратных платформ для инференса.