Многозадачное предсказание токенов: как извлечь скрытый сигнал KL-дивергенции

Авторы исследования Soft-MTP показывают, что стандартный метод многозадачного предсказания токенов (MTP) скрывает полезный сигнал самодистилляции KL за шумовым остатком, ухудшающим предсказание следующего токена. Предложенный метод позволяет извлечь этот градиент с помощью однострочного изменения кода, что бесплатно улучшает качество модели и эффективность спекулятивного декодирования.