Как устроена инфраструктура ИИ-сервисов: от KV-кэша до серверного железа

Статья разбирает архитектуру серверной инфраструктуры, обеспечивающей работу современных ИИ-сервисов. Рассматриваются ключевые компоненты оптимизации запросов, такие как KV-кэш, батчинг и квантизация, а также роль сетевого оборудования и балансировщиков в обеспечении корректной работы LLM.