[Статья] xHC: Расширенные гипер-связи — масштабирование остаточных потоков и расширение возможностей модели

Исследователи представляют метод xHC для масштабирования остаточных потоков трансформеров за пределы N=4, устраняя узкие места записи и вычислительной сложности. Решение использует разреженную архитектуру и оптимизацию памяти xHC-Flash, что позволяет эффективно обучать большие модели. Тесты на MoE-архитектурах демонстрируют улучшение метрик при снижении вычислительных затрат по сравнению с аналогами.