Исследователи из Гарварда и UIUC обнаружили третью ось предобучения: эффективность выборки x6.2 и скорость генерации GenAI x250

Учёные из Гарварда и Университета Иллинойса представили новый метод предобучения, который, по их данным, повышает эффективность выборки в 6.2 раза. Также заявлено ускорение генерации в генеративном ИИ в 250 раз по сравнению с текущими подходами. Это исследование затрагивает фундаментальные аспекты оптимизации обучения языковых моделей.