InferMatrixLab/vllm-rlt: движок вывода для циклических трансформеров

Проект представляет собой движок инференса, вдохновленный vLLM, предназначенный для работы с циклическими архитектурами трансформеров. Он реализует планирование и выполнение на уровне циклов, распределяя вычисления по композиционным этапам.