Назад к дайджесту
Reddit

Пользователи LLM хотят новых моделей на 70-80B параметров

Сообщество обсуждает нехватку эффективных моделей среднего размера и выражает желание увидеть новые MoE-архитектуры на 70-80 миллиардов параметров, превосходящие Qwen 27B/35B. Поднимается вопрос оптимизации инференса на домашнем железе через llama.cpp и ROCm для задач агентов.

score 40r/LocalLLaMA