Reddit
Тестирование форка Strata с поддержкой NVFP4 и модели Qwen на одном GPU
Автор делится опытом использования форка движка Strata от sergqwer с оптимизацией NVFP4 для запуска модели Qwen на одном GPU. В тексте описываются настройки компактизации, проблемы с производительностью при генерации HTML и сравнение времени выполнения задач с другими решениями.
score 40r/LocalLLaMA