Образовательная реализация повторного использования KV-кэша для LLM

Проект представляет собой пошаговое руководство по реализации механизма повторного использования KV-кэша для больших языковых моделей. Материал охватывает принципы префиксного кэширования, управление ключами и вытеснением данных, демонстрируя переход от чистого Python к интеграции с GPU и vLLM.