Существует ли предел миниатюризации моделей без потери интеллекта?

Автор размышляет о фундаментальном вопросе: можно ли бесконечно уменьшать размер нейросетей, сохраняя их интеллект и способности. Обсуждаются параметрическая эффективность, MoE-архитектуры, дистилляция и теоретические ограничения минимальной ёмкости для достижения общего интеллекта.