Спекулятивное декодирование для моделей, не помещающихся в VRAM: 2-битная копия на GPU и остаточные веса в системной памяти

Предложен метод ускорения инференса LLM, при котором 2-битная копия модели на GPU генерирует токены-кандидаты, а полная модель проверяет их, используя остаточные веса (6-8 бит), хранящиеся в оперативной памяти. Подход позволяет сократить объем данных, считываемых из RAM, и повысить количество принятых токенов по сравнению с существующими методами, такими как SubSpec, особенно когда полная модель не помещается в видеопамять.