Решаем ли мы проблему памяти LLM, запоминая больше, тогда как настоящая проблема — в умении забывать?

Автор обсуждает проблему обновления знаний в длинном контексте: модели могут хранить противоречивую информацию, но не всегда корректно заменяют устаревшие данные новыми. Рассматриваются архитектурные подходы, такие как DeltaNet и BDH, а также предлагается тестировать не только поиск фактов, но и способность модели менять ответы при появлении новых доказательств.