Почему диффузионные модели обходят авторегрессионные: пример Stefano Ermon и Mercury 2.5

Компания Augment Code заменила бэкенд на модель Mercury 2.5 от Stefano Ermon, использующую диффузионный подход к генерации токенов параллельно, а не последовательно. Это позволило снизить задержку на 82% и стоимость на 90% по сравнению с авторегрессионными моделями. Статья подчеркивает, что диффузия эффективнее использует ресурсы GPU, решая проблему низкой утилизации, характерной для традиционных LLM.