DeepSeek переизобрели древнейший элемент трансформера, взяв матрицу из 1967 года

DeepSeek опубликовал исследование по модификации остаточных связей (residual connection) — базового блока архитектуры трансформеров, который почти 10 лет оставался неизменным. Исследование использует концепцию матрицы 1967 года, которая легла в основу новой модели DeepSeek V4. Это изменение затрагивает фундаментальный механизм работы нейросетей, унаследованный из ResNet.