Как запускать гигантские MoE-модели на домашнем GPU

Автор разбирает технические причины, позволившие запускать 125-миллиардные и даже 321-миллиардные модели с архитектурой MoE на потребительских видеокартах уровня RTX 3090 и RTX 5070. Рассматривается практическая производительность нового подхода к оптимизации инференса.