Назад к дайджесту
Reddit

OpenBonsai: сжатие BF16-моделей в 2 ГБ тернарные GGUF-файлы

Разработчик представил фреймворк OpenBonsai для постобучения тернарного квантования, позволяющий сжимать собственные BF16-модели и их дообученные версии в формат GGUF размером около 2 ГБ. Метод использует собственные рассуждения модели для калибровки и достигает производительности, близкой к оригиналу, на примере Qwen3.5-9B.

score 55r/LocalLLaMA