Reddit
Оптимизация Drama3 в audio.cpp: до 5× быстрее реального времени на RTX 5090
Разработчик JarodMica добавил поддержку модели Drama3 в аудио-фреймворк audio.cpp, обеспечив ускорение генерации до 5 раз относительно реального времени на видеокарте RTX 5090. Модель поддерживает вычисления через CUDA, Vulkan и Metal, при этом оптимизация памяти позволяет запускать её с использованием менее 8 ГБ VRAM за счет выгрузки весов на CPU.
score 40r/LocalLLaMA