Тысяча токенов в одном векторе: что не так с идеальным сжатием?

Исследователи из AIRI представили на ICML 2026 работу, вскрывающую недостатки метода сжатия тысяч токенов в один вектор. Они показали, что даже при идеальной реконструкции текста модель теряет способность к рассуждению из-за проблем в первых слоях трансформера.