Назад к дайджесту
Reddit

Сравнение Qwen3.8 27B IQ3_XXS (10.18GiB) и Bonsai Ternary PQ2 (6.42GiB) в локальном тесте

Автор сравнил две квантованные модели на одном железе с 16 ГБ VRAM: Qwen3.8 27B в квантовании IQ3_XXS и Bonsai Ternary PQ2. Несмотря на меньший размер файла, Bonsai показал заметно худшую производительность: Qwen завершил задачи в 3 раза быстрее и использовал в 3 раза меньше выходных токенов. Тест не претендует на научность, но даёт практическое представление о компромиссах между размером и скоростью.

score 40r/LocalLLaMA