Назад к дайджесту
Reddit

16-битные квантования лучше низкоразрядных для Qwen3.6-27B

Пользователь тестирует Qwen3.6-27B с F16 квантованием на RTX 3090 для генерации кода в C++ MFC приложении. Показывает, что F16 даёт значительно лучшее качество кода по сравнению с более низкими квантованиями, особенно в сложных сценариях с многопоточностью и edge cases.

score 40r/LocalLLaMA