Subquadratic AI представила модель SubQ-1.1-Small с механизмом Smart Sparse Attention

Компания Subquadratic AI выпустила модель SubQ-1.1-Small, использующую механизм Smart Sparse Attention для обработки контекста до 12 миллионов токенов. Архитектура снижает вычислительные затраты на внимание до 1000 раз и работает в 56 раз быстрее FlashAttention-2 при сохранении качества рассуждений и кодинга.