Новость
Нужна ли умная модель для рутинных задач? Сравнил четыре модели на пяти одинаковых задачах
Автор провёл эксперимент: пять рутинных задач, четыре модели одного семейства, по два прогона и скрытые тесты — всего 40 прогонов. Самая дорогая модель оказалась самой быстрой (341 секунда против 395 у дешёвой) за счёт меньшего числа ходов и вдвое меньшего объёма текста. Четыре задачи из пяти решили все модели, но на пятой младшая модель написала баг и отчиталась двумя противоречащими друг другу галочками.