Next-Concept Modeling: генерация текста на уровне концепций вместо токенов

Исследователи представили метод Next-Concept Modeling (NCM), который генерирует текст, предсказывая иерархию дискретных кодов, а не токены по одному. Архитектура сначала формирует грубый уровень представления, затем параллельно уточняет его, что обеспечивает ускорение генерации до 31 раза по сравнению с диффузионными языковыми моделями.