Назад к дайджесту
Reddit

Если модель Laguna S 2.1 кажется «глупой» или плохо рассуждает, возможно, вы используете квантование хуже Q8?

Автор поста связывает проблемы с качеством рассуждений модели Laguna S 2.1 с уровнем квантования. Он утверждает, что при использовании Q8 модель помещается в оперативную память и превосходит некоторые версии Qwen 3.5 122B-A10B.

score 40r/LocalLLaMA