Контекстные языковые модели: редактирование контекста на лету

Исследование предлагает подход Context Language Models, позволяющий нейросети динамически редактировать свой контекст, подобно работе с файлом. Это снижает потребление памяти, ускоряет инференс и улучшает качество выполнения долгосрочных задач, таких как кодирование и глубокие исследования. Эффект наиболее заметен на больших моделях и может быть дополнительно усилен обучением с подкреплением.