Агрегированный WER — бесполезная метрика для голосовых агентов в продакшене

Автор рассказывает, что общий показатель WER (word error rate) скрывал реальные проблемы в голосовом агенте: при распознавании банковских кодов IFSC ошибка в одном символе делала результат бесполезным, модель путала похожие звуки (M/N, S/F, B/D/P) и плохо справлялась с переключением между языками. Вместо единого числа предлагается отслеживать ошибки по отдельным полям, чтобы видеть, что именно важно для бизнеса.