FlashMask-3: Эффективное и выразительное распределенное внимание с учетом масок

Исследователи представляют FlashMask-3 — ядро внимания для архитектуры Hopper, которое оптимизирует обработку структурированных масок при обучении моделей с длинным контекстом. Метод обеспечивает нулевую коммуникацию при локализации масок в распределенной среде и значительно повышает пропускную способность по сравнению с FlashAttention-3 и другими аналогами.