Почему демо ИИ впечатляет, а в продакшене проваливается: проблема выбора тестовых примеров

Автор объясняет, что разрыв между успешным демо и реальным использованием возникает из-за отбора идеальных входных данных для демонстрации. В продакшене модель сталкивается с реальным распределением запросов, включая шум и сложные случаи, что выявляет её истинные ограничения. Рекомендуется собирать 50-100 реальных примеров до написания промптов и использовать их для оценки изменений.