Демистификация оценки контрастивного шума

Noise Contrastive Estimation (NCE) — это метод аппроксимации нормализации в функции потерь, который значительно снижает вычислительные затраты при обучении на больших словарях. Материал посвящён теоретическому разбору алгоритма, лежащего в основе многих моделей встраивания слов и современных языковых моделей. Статья поможет понять, как работает эффективное обучение без полного перебора токенов.