Старые модели возвращаются к окну контекста в 200 тысяч токенов

Сообщается о тенденции адаптации старых версий языковых моделей для работы с контекстным окном в 200 тысяч токенов. Это позволяет использовать проверенные архитектуры для обработки больших объемов данных без необходимости перехода на новейшие модели. Инициатива касается скорее оптимизации инференса или специфических сборок, чем фундаментальных изменений.