Вспомнить всё: спектральный анализ и постеризация весов нейросети

Автор исследует сохранение информации об обучении в спектральном представлении весов нейросети. Показано, что фильтрация и постеризация не стирают данные полностью, что позволяет использовать их для дообучения в качестве начальных условий. Эффект также интересен для проектирования архитектур ИНС и сжатия весов.