FactorEngram: Факторизованная n-граммная память с базисным гейтированием для языковых моделей

Представлен метод FactorEngram, улучшающий масштабирование параметров LLM за счет факторизации памяти. Вместо монолитных встраиваний модель использует общий словарь базисных векторов и контекстное гейтирование, что позволяет семантически релевантным паттернам совместно использовать компоненты памяти. Эксперименты на моделях объемом 340M и 1B параметров подтверждают улучшение качества языкового моделирования.