Бенчмарк Dense vs MoE: Gemma-4 подтверждает снижение затрат и задержек на практике

Автор сравнил плотную и экспертно-смешанную архитектуры моделей Gemma-4 на реальных запросах. MoE-версия показала на 20% меньшую стоимость и на 25.5% меньшую задержку при том же качестве вывода. Тест подтверждает эффективность MoE для продакшена, хотя преимущество сужается под пиковой нагрузкой.