Как проводить эксперименты с очень крупными архитектурами моделей?

Пользователь спрашивает о методиках быстрой валидации гипотез при обучении вычислительно дорогих диффузионных моделей. В обсуждении рассматриваются упрощения: сокращение датасета, изменение батча и количества эпох. Материал полезен для ML-инженеров, сталкивающихся с ограничениями ресурсов.