Большие контекстные окна лишь увеличивают мёртвую зону в середине

Эксперимент на r/LocalLLaMA показал, что точность следования инструкциям падает с 94% до 41% по мере заполнения контекстного окна, причём резко, а не постепенно. Причина — U-образное внимание модели: она фокусируется на начале и конце, игнорируя середину, поэтому увеличение окна лишь расширяет «мёртвую зону». Также обсуждаются проблемы агрессивного сжатия истории и тихие сбои в поиске памяти.