Назад к дайджесту
Reddit

Fable 5.1 против Astra 6 на старом добром Gradle

Автор, работающий в Gradle, протестировал свой eval-харнесс для оценки навыков и изменений в коде/документации Gradle, которые помогают агентам-кодерам. Он использовал его для сравнения моделей Fable 5.1 и Astra 6 на реальном GitHub-issue Gradle: обе модели справились, но Astra 6 сделала это быстрее и дешевле. В блоге приведены полные диффы, стоимость, количество токенов и другие детали.

score 40r/OpenAI