Как устроена Kimi K3: 2,8 трлн параметров, линейное внимание и агенты на миллион токенов

Moonshot AI открыла доступ к весам мультимодальной MoE-модели Kimi K3 с 2,8 трлн параметров, где на каждом токене активируется 104 млрд. Модель использует гибридные механизмы внимания и обучена для работы с агентами на миллион токенов, конкурируя с топовыми решениями вроде Claude и GPT. Технический отчёт раскрывает детали архитектуры, включая Delta Attention и систему кеширования.