Воспроизводимый метод оценки стоимости задач для LLM: стикер-цена за токен меняет рейтинг моделей в бенчмарках

Автор исследует метод оценки стоимости задач для больших языковых моделей, показывая, что использование стикер-цены за токен приводит к иному ранжированию моделей по сравнению с другими метриками. Результаты двух независимых бенчмарков подтверждают, что данный подход существенно меняет представление о том, какие модели являются наиболее экономически эффективными.