WaveFront Decoding: параллельное самоспекулятивное декодирование для циклических языковых моделей

Представлен метод WaveFront Decoding (WFD) — фреймворк без дообучения для ускорения генерации в циклических языковых моделях (looped LLMs). Метод использует промежуточные выходы рекуррентных блоков как черновики и обрабатывает состояния разных глубин в одном батче, достигая ускорения до 4.81x по сравнению с авторегрессионным декодированием.