Reddit
Запуск DeepSeek-V4.1-Flash на RTX 3090 с квантованием Q2
Пользователь продемонстрировал нативный запуск модели DeepSeek-V4.1-Flash в формате GGUF (квантование Q2) на Windows без использования WSL. На видеокарте RTX 3090 достигнута скорость генерации 41 токен в секунду при сохранении точности, близкой к оригинальному API, с поддержкой контекста до 1 миллиона токенов.
score 40r/LocalLLaMA