Какие архитектурные новшества мы увидим в моделях ИИ?

Автор обсуждает перспективные архитектурные решения для больших языковых моделей, такие как условная энграммная память, гиперсвязи, остаточные механизмы внимания и разреженное внимание. В качестве будущих трендов упоминаются циклические трансформеры, варианты Gated Delta Net 2 и возрождение диффузионных трансформеров без потери интеллектуальных способностей.