Какой API выбрать для создания универсальных LLM-агентов в реальном времени

Автор обсуждает необходимость стандартизированного интерфейса для разработки асинхронных LLM-агентов, способных реагировать на внешние события и прерывания во время генерации ответа. Рассматриваются существующие подходы, включая специализированные API от вендоров и академические исследования с использованием asyncio, с целью поиска универсальных строительных блоков для таких систем.