Назад к дайджесту
Reddit

Самые быстрые модели провалили тест: имеет ли смысл скорость без результата?

В бенчмарке Concourse Bench v1, где ИИ-агенты должны покупать рекламные места, две самые быстрые модели (Haiku и Luna) не выполнили ни одной задачи из 12, несмотря на минимальное время работы. В то же время более медленные модели (Sol и Fable) успешно завершили все задания, что ставит под вопрос эффективность использования скорости как единственного показателя качества работы ИИ-агентов.

score 40r/AI_Agents