Влияние транспорта KV-кэша на производительность дисагрегированного инференса MiniMax-M3

Исследование оценивает влияние протоколов передачи KV-кэша (RDMA/InfiniBand с GPUDirect против TCP/Ethernet) на производительность дисагрегированного инференса, где стадии prefill и decode разделены между разными GPU-узлами. Тестирование проводилось на кластере из 16 GPU NVIDIA B200 с использованием движка sglang для модели MiniMax-M3, проанализировано 268 прогонов на разных уровнях мониторинга.