Назад к дайджесту
Reddit

Сжатие контекста LLM на 90% с помощью локального BERT (на Rust)

Разработчик создал инструмент PandaFilter на Rust, который использует локальную BERT-модель для семантической сжатия вывода терминала перед отправкой в LLM. Утилита сокращает количество токенов на 86–99% для команд вроде pip install и cargo build, интегрируясь с Claude Code и Cursor. Это решение направлено на снижение затрат и давления на контекстное окно в сессиях агентов.

score 19r/AI_Agents