Новость
Отказ от хардкода моделей: маршрутизация, автовыбор сложности и контроль затрат в AI-шлюзах
Статья описывает архитектуру AI-шлюза Keystone (KTMS), который абстрагирует выбор модели от бизнес-логики микросервисов. Рассматриваются механизмы effort-маршрутизации, автоматического подбора сложности запроса, обработки сбоев вендоров и контроля расходов. Решение реализовано как open-source проект на Go.