Reddit
Квантованная модель Nanbeige4.3-33B в формате GGUF
Представлена новая языковая модель Nanbeige4.3-33B с поддержкой квантования в формате GGUF. Доступна градация весов от 35.2 ГБ до 13.7 ГБ, где оптимальным вариантом для оборудования с 32 ГБ памяти признан формат AD-IQ4_XS (20.3 ГБ), сохраняющий 92% качества по сравнению с версией BF16.
score 40r/LocalLLaMA