Ищут соавторов: эффективный по памяти LLM-раннер на основе триев

Проект SALT сокращает длинные документы перед отправкой в языковую модель, сохраняя только ключевую информацию. Утилита saltChat хранит структуру триев в DRAM, что позволяет индексировать документ один раз и переиспользовать его в диалоге без повторного чтения. Это снижает затраты вычислений, памяти и время ожидания для работы с длинным контекстом.