Назад к дайджесту
Новость

INT8 не при делах: как тесты квантованных flow-моделей опровергли наши гипотезы

Авторы статьи делятся результатами измерения производительности сэмплеров на квантованных flow-моделях. Исследование опровергло первоначальное предположение о том, что квантование до INT8 является главной причиной проблем с качеством или скоростью генерации.