Назад к дайджесту
Reddit

Выпуск квантованных GGUF-моделей DeepSeek-V4.1-Flash для локального запуска

Опубликованы квантованные версии модели DeepSeek-V4.1-Flash с использованием методов GSQ и RCO, достигающие плотности 1.75–2.25 бита на вес. Модель с 763.2 млрд параметров и контекстным окном в 1 млн токенов работает на одной GPU объемом 12 ГБ, сохраняя производительность на уровне базовой версии.

score 55r/LocalLLaMA