Назад к дайджесту
Reddit

Оптимизация генерации Ornith-1.5 с помощью DFlash для спекулятивного декодирования

Команда Ornith AI представила версии моделей Ornith-1.5 (9B, 35B и 397B), интегрированные с черновыми моделями DFlash. Это решение предназначено для ускорения процесса генерации текста за счет применения техники спекулятивного декодирования.

score 40r/LocalLLaMA