Шок от того, что весь прогресс всё ещё строится на обёртках для LLM

Автор выражает удивление тем, что значительный прогресс в области ИИ достигается за счёт предельного использования предсказания следующего слова, а не через более сложные символические системы. Обсуждается парадоксальная природа языкового моделирования и прогнозируется дальнейшее развитие моделей при создании новых архитектур.