MagicQuant v2.0: Гибридные GGUF-модели, динамическое квантование Unsloth и бенчмарки

Автор представил инструмент MagicQuant для создания гибридных смесей квантования GGUF с использованием Unsloth. Проект автоматически находит оптимальные конфигурации для разных архитектур, оптимизируя соотношение размера модели и качества (KLD). Это решает проблему стандартных квантований, предлагая бенчмарки для выбора лучшего варианта под конкретный VRAM.