Сравнение Opus 5.5 и Fable 5.1 в Pokémon Red: как модели выбирают покемонов и проходят игру

Автор бенчмарка Pokebench.tv тестирует языковые модели, помещая их в игру Pokémon Red, где они управляют персонажем на основе скриншотов и состояния памяти. Opus 5.5 быстрее и дешевле справляется с первым тренером, демонстрируя понимание типов покемонов, в то время как Fable 5.1 действует хаотично и тратит больше ресурсов.