COUNT: подсчет n-грамм открывает масштабирование на системной памяти и адаптацию без дообучения

Исследователи предлагают метод COUNT, который использует предвычисленные частоты n-грамм в системной памяти для улучшения языковых моделей без добавления обучаемых параметров. Этот подход позволяет снизить нагрузку на GPU, улучшить качество модели при фиксированном бюджете вычислений и обеспечивать быструю адаптацию к новым доменам во время инференса без дополнительного обучения.