Каким будет следующий этап масштабирования LLM?

В сообществе обсуждают эволюцию больших языковых моделей: от роста параметров к цепочкам рассуждений и агентам. Пользователи спорят о том, что станет следующим прорывом после насыщения текущих улучшений вроде мультимодальности и MoE. Поднимается вопрос о том, является ли следующим шагом просто увеличение вычислительных мощностей или нужен качественный сдвиг.