Reddit
Кто ваш любимый издатель квантованных моделей и почему?
Пользователь Reddit обсуждает преимущества Unsloth перед другими издателями квантованных моделей, отмечая скорость релизов и документацию. Он протестировал Apex MoE quant для Qwen3.5 122B и сравнил с IQuality, где Unsloth показал небольшое преимущество в бенчмарке gsm8k. Тема фокусируется на практическом выборе инструментов для локального запуска LLM.
score 31r/LocalLLaMA