Reddit
ASRN: Адаптивная разреженная сеть рекуррентности
Представлена архитектура для языковых моделей, использующая обучаемые хеш-таблицы для поиска предыдущих совпадений контекста и копирования следующих за ними токенов. Метод обеспечивает линейную сложность памяти относительно длины последовательности.
score 40r/MachineLearning