Reddit
OpenBonsai: сжатие BF16-моделей в 2 ГБ тернарные GGUF-файлы
Разработчик представил фреймворк OpenBonsai для постобучения тернарного квантования, позволяющий сжимать собственные BF16-модели и их дообученные версии в формат GGUF размером около 2 ГБ. Метод использует собственные рассуждения модели для калибровки и достигает производительности, близкой к оригиналу, на примере Qwen3.5-9B.
score 55r/LocalLLaMA