Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

Материал посвящён сравнению гибридных архитектур трансформеров, в частности Gated DeltaNet, с классическим механизмом full attention. Автор тестирует эффективность моделей под нагрузкой, анализируя рост памяти и стоимость обработки длинного контекста. Исследование выявляет сценарии, где гибридные подходы проигрывают традиционным механизмам внимания.