Обсуждение методов обучения LLM: влияние размера батчей и сложности материала

Пользователь Reddit предлагает гипотезу о том, что обучение больших языковых моделей на меньших батчах текста или с постепенным увеличением сложности тем может повысить эффективность обучения, по аналогии с человеческим восприятием. Также обсуждается потенциальная польза от предварительного внедрения правил (например, грамматики) перед этапом самообучения.