Архитектура AI-сервисов: почему монолит убивает латентность и GPU

Материал посвящён архитектуре low-latency инференса на высоких нагрузках, где автор доказывает неэффективность монолитных решений для AI-сервисов. В статье сравниваются фреймворки vLLM и SGLang, а также рассматриваются техники continuous batching и admission control для оптимизации GPU.