DiffuSpace выпустила Clover-35B-A3B: диффузионную языковую модель с 35 млрд параметров

Компания DiffuSpace представила первую языковую модель Clover-35B-A3B, сочетающую архитектуру mixture-of-experts с 35 миллиардами параметров и около 3 миллиардов активных параметров на токен. Модель использует блокную диффузионную генерацию и поддерживает контекстное окно длиной 128K, демонстрируя лучшие результаты среди открытых диффузионных языковых моделей на момент релиза.