Параллельность RNN: попытка реанимации рекуррентных сетей

Статья анализирует исследование ParaRNN, представленное на ICLR, которое предлагает методы параллельного обучения рекуррентных сетей. Это бросает вызов общепринятому мнению, что последовательная природа RNN сделала их менее эффективными по сравнению с трансформерами. Материал посвящен фундаментальным вопросам архитектуры нейросетей и оптимизации обучения.