Как мы строили систему оценки и автоматизировали оптимизацию AI-агента

Статья описывает процесс создания системы оценки (eval) для RAG-системы в Bitrix24. Рассматриваются методы формирования экспертных и синтетических датасетов, метрики качества поиска и замкнутая петля оптимизации агента. Автор делится опытом преодоления расхождений между метриками поиска и реальным качеством ответов.