Локальный бенчмарк для кодинга должен учитывать всю среду разработки

Автор предлагает расширить метрики оценки языковых моделей, добавив в них время настройки, совместимость с редактором и стабильность работы в реальном цикле редактирования. Утверждается, что удобство интеграции и скорость запуска могут быть важнее сырых показателей качества ответов.