Сможет ли геометрическое глубокое обучение отказаться от «грубой силы» при предобучении?

Автор поста задаётся вопросом, может ли внедрение геометрических инвариантностей в архитектуру нейросети снизить потребность в огромных объёмах данных для предобучения. Обсуждается гипотеза, что правильные индуктивные смещения позволяют модели не «выучивать» базовые симметрии, а использовать их изначально. Это дискуссия о фундаментальном подходе к эффективности обучения ИИ.