Reddit
Если модель Laguna S 2.1 кажется «глупой» или плохо рассуждает, возможно, вы используете квантование хуже Q8?
Автор поста связывает проблемы с качеством рассуждений модели Laguna S 2.1 с уровнем квантования. Он утверждает, что при использовании Q8 модель помещается в оперативную память и превосходит некоторые версии Qwen 3.5 122B-A10B.
score 40r/LocalLLaMA