Оптимизация нейронных сетей без производных: эксперимент на MNIST

Исследователи применили метод оптимизации без производных (MDP) для обучения нейросети на задаче классификации MNIST, полностью исключив обратное распространение ошибки. Полученная модель превзошла базовый оптимизатор Adam по точности (93,4% против 91,7%) и функции потерь, работая в пространстве из 25 тысяч параметров. Эксперимент демонстрирует возможность эффективной настройки весов без градиентов при миллионе вычислений функции.