Monodratic: обученная маршрутизация по продуктовым хэшам для разреженного каузального внимания

Независимый исследователь представил архитектуру Monodratic — механизм разреженного каузального внимания с обученной маршрутизацией по продуктовым хэшам. После RoPE блоки источников распределяются по ограниченным спискам, а запросы выбирают фиксированное число удалённых блоков плюс гарантированные локальные, затем применяют точный causal softmax только по этим токенам. На синтетических тестах ассоциативного вспоминания метод показал 99,35% точности против 19,7% у локального внимания и почти нулевую ошибку по сравнению с плотным оракулом.