Назад к дайджесту
Reddit

Кто ваш любимый издатель квантованных моделей и почему?

Пользователь Reddit обсуждает преимущества Unsloth перед другими издателями квантованных моделей, отмечая скорость релизов и документацию. Он протестировал Apex MoE quant для Qwen3.5 122B и сравнил с IQuality, где Unsloth показал небольшое преимущество в бенчмарке gsm8k. Тема фокусируется на практическом выборе инструментов для локального запуска LLM.

score 31r/LocalLLaMA