Фронтальные LLM оценили 39 локальных моделей по 50 промптам

Автор провел эксперимент, в котором четыре крупные языковые модели (Gemini, GPT-6.1, Codex) выступили в роли судей, оценивая ответы 39 локальных LLM. Тестирование включало 50 различных промптов, включая генерацию кода и отладку реальных ошибок, и проводилось на потребительском оборудовании. Результаты выявили лидеров по текущей эффективности и потенциалу для дальнейшей дообучения среди локальных моделей.