Оптимизация параметров языковой модели на основе графа со-встречаемости: когда больше — не значит лучше

Авторы статьи исследуют возможность определения минимально необходимой архитектуры трансформера на основе графа со-встречаемости слов предметной области до начала обучения. Эксперимент с классификацией студенческих запросов показал, что модель, спроектированная по графовым метрикам, не уступает стандартным решениям по качеству, но значительно эффективнее по ресурсам. Работа ставит под сомнение тренд на бесконечное увеличение размера моделей для специализированных задач NLP.