Стоит ли веб-поиск в API OpenAI своих денег? Автор насчитал 87% лишних токенов

Автор проанализировал работу веб-поиска в API OpenAI и обнаружил, что 87% контекста составляют лишние токены, за которые приходится платить. Он разработал локальную альтернативу с использованием RRF-фьюзии, семантического кэширования и сжатия предложений, что позволило сохранить точность при значительном снижении затрат. Это решение особенно актуально для агентов, часто выполняющих поиск, так как позволяет избежать переплаты за ненужный контекст.