Проект AttnRes для Gemma 4 31B: модификация архитектуры языковой модели

Независимый разработчик делится прогрессом по архитектуре AttnRes — механизму маршрутизации на основе внимания, который заменяет стандартные residual-связи в LLM. Подход использует дистилляцию знаний из Gemma с постепенным «отлучением» от старой архитектуры, сохраняя разнообразие возможностей модели в процессе перехода.