Ускорение Ternary Bonsai 2 27B с помощью переобученного DFlash 2: до 3.2x на L4 и 1.5x на Mac

Автор переобучил эвристический драфтер DFlash 2 на данных модели Ternary Bonsai 2 27B для повышения скорости генерации. На GPU NVIDIA L4 ускорение составило 2.2x, а при редактировании кода с использованием ngram-поиска достигло 3.2x; на чипе Apple M4 Pro прирост составил 1.5x.