Назад к дайджесту
GitHub

tokenu — утилита для подсчёта токенов в файлах и директориях

Командная строка, аналогичная unix-утилите du, но считающая количество токенов в файлах и папках. Помогает разработчикам оценивать стоимость запросов к LLM и управлять контекстными окнами.

591 forksTypeScriptscore 62.1
llmgpt-tokenizerlarge-language-modelstokenizernodejstokenizationagent-cliai-agentsagentscommand-line