Вам, пожалуй, стоит попробовать это

Команда THU-ML представила метод Causal-Forcing для генерации видео, который теперь интегрирован в ComfyUI. Утверждается возможность работы в реальном времени на RTX 4090 с использованием оптимизации KV Cache. Релиз доступен через pull-запрос в репозиторий ComfyUI.