Кэширование промптов для оптимизации LLM

Это прокси-сервер на Go, реализующий семантическое кэширование для языковых моделей. Инструмент снижает затраты на LLM до 80% и ускоряет ответы до миллисекунд, работая как универсальная замена без привязки к провайдеру. Решение подходит для внедрения в существующие пайплайны без изменений кода.