Воспроизведи — или не считается: почему деконтаминацию на стороне обучения невозможно проверить и как выглядит правило на стороне оценки

Автор утверждает, что деконтаминация на стороне обучения имеет жёсткий предел: отчёт о ней — это заявление заинтересованной стороны по корпусу, который никто не может проверить, с сопоставлением, не учитывающим перефразирования и синтетические производные. Альтернатива — правило на стороне оценки: исключить предварительное знакомство с данными по построению (модель не получает метки, нет сети при оценке, оценщик строит из именованного коммита и воспроизводит результат сам, используя данные с будущими датами, где возможно). Автор реализовал это для небольших табличных моделей и перечисляет, что воспроизведение не доказывает: валидность бенчмарка, устойчивость к адаптивному переобучению через повторные подачи (нет бюджета на решателя — это открытый пробел), утечки со стороны финансирующей организации и возможность повторного запуска третьими лицами без данных. Текущая запись — это квитанция аудита, а не переносимый протокол; пост объясняет, что должно связывать полное доказательство с нулевым разглашением (модель, входы, скоринг, всё к одной оценке) и почему доказательство вывода само по себе не является таковым.