Назад к дайджесту
Новость

Интеграция 4-битного инференса Nunchaku в библиотеку Diffusers

Nunchaku реализует 4-битный инференс для диффузионных моделей, обеспечивая существенное ускорение и экономию памяти. Интеграция в библиотеку Diffusers позволяет разработчикам использовать эту оптимизацию без сложной настройки. Это важный шаг для снижения затрат на запуск генеративных нейросетей.