Разработана модель с внутренней памятью, работающей в прямом проходе

Представлена MemT 2.0 — MoE-модель размером 293 млрд параметров, которая хранит историю сессий в постоянном внутреннем состоянии памяти. Механизмы записи, обновления и чтения памяти интегрированы непосредственно в вычислительный граф прямого прохода, что позволяет сохранять контекст без внешних фреймворков или повторного обучения. Модель доступна на Hugging Face в размерах 36B и 293B, но публичные бенчмарки пока не опубликованы.