Ускорение Kimi K3 (2.8T) на кластере из 16x GB10: 30 ток/с на кодинге, пик 136 ток/с при параллельных запросах

Пользователь запустил полную модель Moonshot AI Kimi K3 (2.8T параметров) на кластере из 16 узлов GB10. Для стабильной работы потребовались кастомные патчи рантайма и специальная сетевая топология. В тестах на задачах кодинга достигнуто ~30 ток/с генерации (пик 38), префилл ~750–910 ток/с, а также стабильная работа с контекстом в сотни тысяч токенов. Все патчи и конфиги выложены на GitHub.