Как организовать отказоустойчивость AI-агентов?

Автор делится опытом перехода от однопоставочной архитектуры к автоматическому фоллбэку: при сбое или таймауте модели A запрос перенаправляется на эквивалентную модель от другого провайдера. Обсуждаются технические детали выбора модели при переключении, использование шлюзов (LiteLLM, Portkey) и контроль роста затрат из-за повторных запросов.