HotKV сокращает использование токенов Claude на 70% в бенчмарке Banking77

Разработчик представил HotKV — многопоточное in-memory хранилище с встроенным семантическим кэшем для ответов LLM. Тестирование на базе набора данных Banking77 показало снижение потребления токенов Claude на 70% при сохранении качества ответов за счет точного и семантического совпадения запросов.