Reddit
16-битные квантования лучше низкоразрядных для Qwen3.6-27B
Пользователь тестирует Qwen3.6-27B с F16 квантованием на RTX 3090 для генерации кода в C++ MFC приложении. Показывает, что F16 даёт значительно лучшее качество кода по сравнению с более низкими квантованиями, особенно в сложных сценариях с многопоточностью и edge cases.
score 40r/LocalLLaMA