Из чего состоят данные для обучения моделей на 10 триллионов параметров?

Автор обсуждает гипотезу о том, как лаборатории получают данные для обучения моделей с 10 триллионами параметров, учитывая ограничения интернет-данных. Поднимается вопрос о пропорциональном увеличении данных при росте параметров и источниках: синтетические цепочки рассуждений или человеческие трейсы.