Назад к дайджесту
Reddit

Сравнение квантования Q4_K_XL и Q5_K_S для Qwen3.6-35b в Unsloth

Пользователь сравнивает производительность квантованных версий модели Qwen3.6-35b-a3b через библиотеку Unsloth. Результаты показывают, что Q4_K_XL превосходит Q5_K_S в задачах веб-поиска, анализа документов и кодинга, особенно в логических рассуждениях. Это практический инсайт для оптимизации инференса LLM.

score 29r/LocalLLaMA