MoE-модели с ~2 млрд активных параметров: обзор и обсуждение

Пользователь Reddit собирает список MoE-моделей с активными параметрами около 2 миллиардов, включая LFM2, Mellum 2 и Moondream 3.1. Обсуждается их эффективность для запуска на CPU или слабых видеокартах и возможность превзойти плотные аналоги в этом классе. Поднимается вопрос о недостатке публичных тестов и сравнений для таких архитектур.