Разработана система внимания O(NlogN) с сохранением 97% точности на длинных контекстах

Автор представляет архитектуру ALHR (Adaptive learnable Hierarchical Routing), основанную на статическом бинарном дереве и обучаемых функциях для уменьшения количества ключей. Система демонстрирует лучшую масштабируемость по видеопамяти и эффективность на задачах MQAR, хотя публичные результаты ограничены нехваткой ресурсов.