Назад к дайджесту
Reddit

Создание эталонного датасета для оценки перед запуском

Автор делится проблемой подготовки оценочного датасета для AI-продукта до запуска, когда нет реальных пользовательских данных. Он вручную создаёт синтетических пользователей и сценарии для проверки промптов, используя Braintrust для управления версиями и оценками, и ищет способ структурировать процесс так, чтобы потом легко перейти к реальным данным.

score 55r/AI_Agents