Mistral Large 4: новая мультимодальная MoE-модель с 1 триллионом параметров

Компания Mistral представила Mistral Large 4 — свою самую мощную на данный момент модель с архитектурой Mixture-of-Experts, насчитывающую 1 триллион параметров и 49 миллиардов активных параметров на токен. Модель обучена с нуля на 3800 GPU NVIDIA Grace Blackwell и объединяет возможности следования инструкциям, рассуждений, программирования и агентных рабочих процессов в одном наборе весов. Она поддерживает контекст длиной 1 млн токенов, мультимодальный ввод (текст и изображения) и свободно владеет более чем 160 языками.