Reddit
Модель Ternary-Bonsai-2-27B-PQ2_0 не полностью деградировала
Автор протестировал экстремально квантованную модель Ternary-Bonsai-2-27B-PQ2_0 с помощью собственных бенчмарков, сравнив её с другой 27B-моделью Qwen3.8-27B-UD-IQ2_XXS и несколькими более крупными моделями. Тесты включают стандартный needle-тест, усложнённый вариант с ложными ключами и реконструкцию фраз. Результаты показывают, что модель сохранила часть способностей, несмотря на сильное сжатие.
score 40r/LocalLLaMA