Назад к дайджесту
Reddit

Подбор небольшой модели в связке с Qwen3.8-Flash-Next

Пользователь обсуждает конфигурацию для запуска агента Hermes, используя Qwen Flash Next как основную модель. Задача состоит в выборе подходящей легкой модели для параллельных сессий на доступном GPU AMD RX 7800 XT с 16 ГБ видеопамяти, рассматривая варианты MiniCPM5-2B или квантованные версии Qwen 27B.

score 40r/LocalLLaMA