Прокси, который отслеживает решения «да/нет» и «выбери один», запрашиваемые у LLM, и обучает локальную модель принимать их бесплатно

stuntd — локальный прокси для сокращения расходов на LLM в продакшене. Он записывает закрытые решения (какая очередь, срочно ли, безопасно ли), обучает небольшую модель на открытой модели Laya, проверяет её в теневом режиме и, достигнув нужного согласия, отвечает сам за ~20 мс, передавая сомнительные случаи провайдеру. Поддерживает протокол Jev, измеренное согласие с учителем до 99/86/98%, 90% вопросов решаются локально.