Модель Microsoft на 137B параметров с активными 6.8B

Компания Microsoft AI представила локальную версию модели MAI Code 1.1 Flash, оптимизированную для задач программирования. Это архитектура mixture-of-experts (MoE) с общим количеством параметров 137 миллиардов, из которых в каждом проходе активно используется только 6.8 миллиарда.