Как языковые модели хранят память: от линейных отображений до самовнимания

Статья исследует механизмы запоминания информации в современных языковых моделях, разбирая роль линейных отображений, многослойных перцептронов (MLP) и механизма самовнимания. Автор выводит эвристики для оценки объёма памяти, который может храниться в различных типах слоёв архитектуры трансформера.