Экономит ли циклический трансформер трафик HBM? Профилирование переиспользования весов Huginn на B200

В статье исследуется архитектура Huginn, где одни и те же веса используются на каждой итерации, и анализируется, насколько это снижает трафик памяти HBM на GPU Blackwell B200. Эксперименты показывают, что хотя общие веса экономят место в памяти, GPU по-прежнему считывает их из HBM на каждом шаге, если они не удерживаются в чипе с помощью специальных методов, таких как постоянные ядра.