Назад к дайджесту
Reddit

Обнаружение галлюцинаций в локальных моделях без нагрузки на VRAM: результаты тестирования моделей от 1.5B до 120B

Авторы предлагают легковесный метод детекции галлюцинаций на основе детерминированной нормализации строк и энтропии Шеннона, работающий на CPU без использования GPU. Тестирование показало, что для моделей среднего размера (7B) этот метод сопоставим по эффективности с тяжелыми NLI-моделями, но теряет точность на очень малых и сверхбольших моделях из-за нестабильности форматирования или коллапса уверенности.

score 40r/LocalLLaMA