ORL: ускорение диффузионных языковых моделей до 2788 токенов/с на RTX 5090

Исследователи представили метод On-Policy Residual Learning (ORL) для значительного ускорения диффузионных языковых моделей (dLLM) без потери качества генерации. Ключевые особенности подхода включают обучение на свежих траекториях модели для устранения рассинхронизации распределений и использование Adjacent Entropy Contraction для более быстрого снижения неопределенности на каждом шаге денoising. Метод демонстрирует до 6.9-кратного увеличения пропускной способности по сравнению с базовыми моделями и превосходит DFlash speculative decoding.