Сравнение квантования Qwen Flash Next и температуры: производительность, время задачи и качество

Автор провел эксперимент с моделями Qwen Flash Next разных уровней квантования (q3_xxs, q3_s, q4_xs) при температуре 0 и 1 для генерации кода игры Tetris. Результаты показали, что более высокие кванты требуют меньше токенов на декодирование и сокращают общее время выполнения задачи, несмотря на меньшую скорость декодирования в TPS. Использование температуры 0 обеспечивает более стабильное время выполнения, но не дает явного прироста качества по сравнению с более высокими температурами.