Как маршрутизировать запросы агентов, когда возможности модели, политика, стоимость и задержка конфликтуют?

Обсуждается проектирование маршрутизации запросов к моделям, когда разные модели различаются по возможностям, стоимости и задержке. Рассматриваются подходы: сначала жёсткая проверка соответствия возможностям и политике, затем оптимизация по стоимости/задержке, либо единый взвешенный балл. Также поднимаются проблемы динамической маршрутизации, такие как флаппинг маршрутов из-за изменений задержки провайдера, и предлагаются решения: скользящее окно, гистерезис/кулдаун или оценочный шлюз.