MemT-1.0: Эволюция моделей с нативной памятью

Исследователи представили архитектуру MemT-1.0, которая интегрирует механизмы памяти непосредственно в вычисления фундаментальных моделей, а не полагается на внешние хранилища. Модель использует обновляемый на уровне токенов механизм Gated DeltaNet-2 и демонстрирует значительное ускорение инференса и сокращение потребления памяти по сравнению с полным контекстным окном.