RAG — это про замеры, а не код. История бота, где «правильные» улучшения ухудшили результат

Автор делится опытом внедрения RAG, где стандартные улучшения вроде BM25 и реранкера снизили качество ответов. Статья доказывает, что успех зависит не от кода, а от eval-харнесса, чистки данных и честных замеров. Индустриальные дефолты могут вредить, если их не проверить на реальных сценариях.