Эксперимент с динамическим обновлением весов на основе гиперповерхностей

Автор представляет экспериментальную архитектуру языковой модели, где один декодерный блок итеративно применяется к входу, а веса динамически обновляются с помощью набора гиперповерхностей, генерирующих дельты весов. Это позволяет значительно сократить количество обучаемых параметров. Модель использует Gated Linear Attention для модуляции геометрии гиперповерхностей, делая обновления весов зависящими от последовательности. Предобучение проводилось на 10B токенах FineWeb-Edu с замороженными эмбеддингами GPT-2 и без позиционных кодировок.