API для LLM с минимальной задержкой

Разработчик делится опытом создания кодингового агента с длительным временем работы, сталкиваясь с проблемами стоимости токенов и задержек. Он рассматривает использование иерархии моделей: более быстрые и дешёвые для рабочих шагов и мощные — для планирования, чтобы ускорить процесс и снизить затраты.