Soft-MTP: оптимизация многозадачного предсказания токенов через восстановление градиента KL

Исследователи выявили проблему стандартного обучения Multi-Token Prediction (MTP), где шумовой остаток градиента мешает обучению следующей токена. Предложен метод Soft-MTP, который точно восстанавливает градиент расхождения Кульбака-Лейблера (KL) через комбинирование градиентов перекрестной энтропии, устраняя шум без добавления параметров или вычислительных накладных расходов. Метод улучшает спекулятивное декодирование, снижает перплексность и повышает точность моделей от 167M до 1.2B параметров.