Оптимизация инференса LLM: как снизить затраты на GPU без покупки нового оборудования

Статья разбирает шесть шагов оптимизации инференса больших языковых моделей на стеке vLLM и Kubernetes. Рассматриваются причины высоких затрат, такие как неэффективный кэш и повторные вычисления, а также методы их устранения, включая настройку prefix caching и проверку квантования.