Модели MoE на 50B+ параметров: поиск баланса между интеллектом, скоростью агентов и стоимостью дообучения

Автор делится опытом создания польской юридической модели на базе Qwen и Gemma, где критически важны надежность вызова инструментов и скорость работы в агентном режиме. Вопрос заключается в том, дают ли модели с большим общим числом параметров, но малым количеством активных (MoE), существенное преимущество в рассуждениях и надежности при сохранении низкой задержки и стоимости инференса по сравнению с плотными моделями.