Сравнение стабильности выбора стартового покемона в Sonnet 5.5 и Opus 5.5

Автор провёл бенчмарк, поместив языковые модели в игру Pokemon Red для прохождения первого зала. При 21 повторении одного и того же игрового состояния Sonnet 5.5 13 раз выбирала Чармандера, игнорируя более выгодного Сквиртла из-за логического решения сэкономить на перемещении. Opus 5.5 в аналогичных условиях стабильно выбирала оптимального покемона, демонстрируя более высокую надежность в принятии решений.