SpecPilot: Автономное открытие алгоритмов и оптимизация систем для спекулятивного декодирования

Исследователи представляют SpecPilot — автономную агентную систему, которая автоматически находит алгоритмические и системные оптимизации для ускорения спекулятивного декодирования больших языковых моделей. Метод позволяет увеличить скорость декодирования по сравнению с авторегрессионным подходом с 4.46x до 10.87x для одиночного запроса и с 1.94x до 3.93x при батчинге, без потери качества и необходимости дообучения моделей.