Назад к дайджесту
Reddit

graphsignal-top: живой мониторинг GPU для инференса от Graphsignal

Разработчики открытого профилировщика Graphsignal выпустили утилиту graphsignal-top, которая визуализирует загрузку GPU, память, потребление энергии и задержки в реальном времени. Инструмент ранжирует CUDA-ядра по времени выполнения, показывая их читаемые имена и категории, а также отображает статистику запросов и синхронизации. Это позволяет быстро выявлять узкие места при запуске LLM-серверов, таких как vLLM или SGLang.

score 55r/LocalLLaMA