Предложения для архитектуры Gemma 5: от циклических трансформеров до оптимизации внимания

Пользователь Reddit предлагает ряд архитектурных улучшений для будущей модели Gemma 5, включая использование циклического трансформера для усиления логических способностей и внедрение механизма Engram от DeepSeek для расширения знаний. Также рекомендуется сохранить 4-битное квантование QAT, внедрить сжатое разреженное внимание для снижения затрат KV-кэша и рассмотреть выпуск MOE-модели на 120 миллиардов параметров.