Reddit
Замена повторяющихся LLM-запросов детерминированными ML/NLP-пайплайнами
Исследуется возможность замены повторяющихся рабочих нагрузок LLM автоматически сконструированными пайплайнами из традиционных ML/NLP-моделей, регулярок и детерминированных парсеров. Система группирует похожие запросы, генерирует кандидаты в виде DAG из 41 типа атомарных задач и оптимизирует их по качеству, стоимости и задержкам, переключаясь на фронтальную модель только для сложных случаев.
score 40r/MachineLearning