JITLLM: операционная система для инференса LLM с оптимизацией под железо

Проект JITLLM представляет собой систему для инференса больших языковых моделей, которая динамически оптимизирует вычисления и управляет перемещением слоев между CPU и GPU во время выполнения. Это позволяет запускать модели, превышающие объем доступной видеопамяти, и повышать пропускную способность без прерывания диалога.