Модель Ternary Nemotron 30B-A3B в формате GGUF: запуск на GPU с 12 ГБ памяти

Опубликована версия модели Nemotron 30B-A3B с тернарным квантованием (1.58 бит) в формате GGUF, позволяющая обрабатывать контекст до 368K токенов на видеокартах с 12 ГБ VRAM. Модель поддерживает высокую скорость декодирования и префилла и работает как в стандартном llama.cpp, так и в форке PrismML.