LLM поднаторели в тексте, но так и не научились работать с таблицами. И дело, похоже, не в нехватке данных

Автор рассуждает, что модели плохо справляются с табличными данными не из-за меньшего объёма обучающих данных, а потому что смысл колонок не закодирован в самих токенах — он скрыт в связях между таблицами, соседних колонках и контексте использования. Он также отмечает, что text-to-SQL агенты отлично работают на простых схемах из 12 таблиц, но разваливаются на схемах около 300 таблиц, и никто точно не знает, где именно происходит сбой.