Reddit
Реализация методов спекулятивного декодирования с нуля: EAGLE-3, Medusa-1, PARD и другие
Автор создал образовательный репозиторий на GitHub, реализующий различные методы спекулятивного декодирования (EAGLE-3, Medusa, PARD, N-gram) с нуля. Проект помогает понять разницу между дизайном пропозеров, качеством верификации и реальным приростом пропускной способности при инференсе LLM. Это ценный ресурс для разработчиков, изучающих оптимизацию генерации текста на стыке алгоритмов и систем.
score 21r/LocalLLaMA