Замена состояний оптимизатора AdamW на быстрое преобразование Фурье для снижения потребления VRAM

Авторы предлагают метод снижения потребления видеопамяти при дообучении больших моделей за счет преобразования градиентов в частотную область с помощью FFT. Подход позволяет отбросить низкоэнергетические частоты и сжать состояния оптимизатора, сокращая использование VRAM примерно на 50% без применения агрессивной 8-битной квантования. Основной компромисс — увеличение вычислительных затрат на шаг из-за операций преобразования, что компенсируется возможностью использования большего размера батча.