Reddit
Реализации спекулятивного декодирования: EAGLE-3, Medusa-1, PARD и методы с нуля [P]
Автор создал образовательный репозиторий с реализацией методов спекулятивного декодирования с нуля, чтобы наглядно показать различия между пропозерами. Включены EAGLE-3, Medusa-1, PARD, черновые модели, N-gram и суффиксное декодирование с путями обучения и инференса. Ресурс полезен инженерам для понимания системных аспектов ускорения LLM и компромиссов между качеством пропозера и стоимостью верификации.
score 12r/MachineLearning