Назад к дайджесту
Reddit

Модель Ternary-Bonsai-2-27B-PQ2_0 не полностью деградировала

Автор протестировал экстремально квантованную модель Ternary-Bonsai-2-27B-PQ2_0 с помощью собственных бенчмарков, сравнив её с другой 27B-моделью Qwen3.8-27B-UD-IQ2_XXS и несколькими более крупными моделями. Тесты включают стандартный needle-тест, усложнённый вариант с ложными ключами и реконструкцию фраз. Результаты показывают, что модель сохранила часть способностей, несмотря на сильное сжатие.

score 40r/LocalLLaMA