Назад к дайджесту
GitHub

dshakes/distil: Сжатие контекста LLM для агентов

Инструмент для сжатия контекста больших языковых моделей с сохранением качества, оптимизированный для кэширования и каузального отсечения. Предназначен для использования в агентных средах и совместим с любыми SDK.

203 forksPythonscore 62.5
openaiagentsanthropiccost-optimizationprompt-cachingcontext-compressiontoken-optimizationai-infrastructurellmllmops