Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99

Технический разбор четырёх механизмов деградации LLM-инференса в production: фрагментация KV-кэша, OOM при длинном контексте, блокировка очереди в батче и расхождение метрик p50/p99. Автор описывает внутреннее поведение системы, способы воспроизведения проблем и метрики для раннего обнаружения инцидентов.