Инференс LLM: от KV-кэша до продакшен-деплоя

Автор, MLOps-инженер hh.ru, делится опытом построения инфраструктуры для запуска LLM на собственном оборудовании. Материал посвящён современным движкам инференса, оптимизации памяти через KV-кэш и практическим аспектам внедрения GenAI в продакшен.