Назад к дайджесту
Reddit

Тестирование форка Strata с поддержкой NVFP4 и модели Qwen на одном GPU

Автор делится опытом использования форка движка Strata от sergqwer с оптимизацией NVFP4 для запуска модели Qwen на одном GPU. В тексте описываются настройки компактизации, проблемы с производительностью при генерации HTML и сравнение времени выполнения задач с другими решениями.

score 40r/LocalLLaMA