Почему метрика KLD для квантованных моделей вводит в заблуждение

Автор разбирает проблему использования KLD (расхождения Кульбака-Лейблера) как главного индикатора качества квантованных языковых моделей. Ключевые ошибки заключаются в использовании нерепрезентативных текстов для оценки и манипуляциях с калибровочными данными, что приводит к завышенным показателям без реальной обобщающей способности.