Reddit
Влияет ли разгон GPU на точность смешанных квантований моделей?
Пользователь спрашивает, дает ли разгон видеокарт (например, RTX 3090) преимущество при работе со смешанными квантованиями, где часть тензоров сохраняется в BF16, а часть квантуется до Q8 и ниже. Обсуждение касается производительности и стабильности вычислений при использовании нештатных настроек частот.
score 40r/LocalLLaMA