Назад к дайджесту
Reddit

tool-prune: сокращение 50+ схем инструментов до кандидатов за 0,4 мс (-92% токенов промпта, без зависимостей)

Инструмент tool-prune выполняет предварительную фильтрацию схем инструментов на клиенте до вызова модели, сокращая токены промпта на 92% и занимая всего 0,4 мс. Это позволяет избежать дополнительных LLM-вызовов и улучшить внимание модели при работе с локальными 7B/8B моделями. Реализован на чистом JS и Python без внешних зависимостей.

score 40r/LocalLLaMA