Потратили 1,5 миллиарда токенов OpenAI — вот что мы поняли на горьком опыте

Основатель Rankpilot.dev делится пост-мортемом о неэффективном расходовании токенов OpenAI. Команда обнаружила, что половина «AI-вызовов» не требовала нейросети (задачи решались регулярными выражениями), внедрила каскад из дешёвой и дорогой моделей, кэширование результатов по хэшу контента и сокращение входных данных. Эти меры позволили значительно снизить расходы без потери качества.