Назад к дайджесту
Reddit

Сравнение Ling 3.0 Tiny и Gemma 26B-A4B MoE

Автор сравнивает две языковые модели для задачи извлечения JSON в пайплайне озвучки аудиокниг. Ling 3.0 Tiny (7.9B параметров, 1.3B активных) помещается в VRAM 8 ГБ, а Gemma 26B-A4B использует CPU для экспертов. Описаны аппаратные настройки, конфигурации и результаты тестирования.

score 40r/LocalLLaMA