GitHub
dshakes/distil: Сжатие контекста LLM для агентов
Инструмент для сжатия контекста больших языковых моделей с сохранением качества, оптимизированный для кэширования и каузального отсечения. Предназначен для использования в агентных средах и совместим с любыми SDK.
203 forksPythonscore 62.5
openaiagentsanthropiccost-optimizationprompt-cachingcontext-compressiontoken-optimizationai-infrastructurellmllmops