Перемещение слоев работающей модели между GPU во время генерации ответа за 8 мс без повторного префила

Разработчик представил движок вывода jitllm, позволяющий динамически перемещать слои нейросети между устройствами (GPU, CPU, iGPU) прямо в процессе генерации текста. Технология использует пейджинг KV-кэша и JIT-компиляцию, что позволяет перестраивать распределение модели без остановки генерации и повторной обработки промпта.