Кто еще устал от дороговизны оценки AI-агентов?

Автор обсуждает проблему высоких затрат вычислительных ресурсов и времени на онлайн-тестирование AI-агентов в реальных средах. В качестве альтернативы предлагается офлайн-бенчмарк AgentVQA, который позволяет оценивать способности визуальных языковых моделей (VLM) без запуска симуляций, обеспечивая более чистые данные и снижение стоимости проверок.