NeurIPS отклонил 178 статей из-за «ИИ-генерируемости»: детектор пометил собственные работы организаторов на 24–69%

На треке Position Paper конференции NeurIPS использовали проприетарный AI-детектор Pangram, который отклонил 18,4% всех поданных работ без человеческой проверки и возможности апелляции. Независимые исследователи выяснили, что тот же детектор оценивает статьи самих организаторов трека как «ИИ-сгенерированные» с вероятностью от 24% до 69%, что ставит под сомнение валидность инструмента. Также отмечается, что детектор изначально помечал 42,7% всех работ, и лишь изменение параметров снизило этот показатель до 12,7%, а исследование Stanford показало, что 61,22% текстов, написанных людьми на TOEFL, ложно помечаются как ИИ-сгенерированные.