Назад к дайджесту
Reddit

Qwen3.6 35b a3b: Q4_K_XL от Unsloth быстрее и эффективнее Q4_K_M на 8GB VRAM

Пользователь сравнил квантования Q4_K_XL и Q4_K_M для модели Qwen3.6 35b a3b на системе с 8GB VRAM. Выяснилось, что вариант от Unsloth работает на 3% быстрее и требует меньше токенов на вывод, несмотря на больший расход памяти. Данные полезны для настройки локального инференса при ограниченных ресурсах.

score 18r/LocalLLaMA