Назад к дайджесту
Reddit

APEX MoE квантование: 25+ новых моделей и новый уровень I-Nano

Обновление стратегии квантования APEX для MoE-моделей: добавлено более 25 новых версий, включая Qwen, MiniMax и NVIDIA Nemotron. Пользователи отмечают лучшее сохранение длинного контекста и качества кода по сравнению с равномерным квантованием. Представлен новый сверхсжатый уровень I-Nano для экстремального уменьшения размера моделей.

score 35r/LocalLLaMA