Назад к дайджесту
Reddit

Юмор-арена: какая языковая модель самая смешная?

Сравнили 20 версий моделей на 360 замороженных шуточных промптах, по четыре шутки на промпт, скрыв имена моделей от судьи. Лучший результат показала Fable 5 — 66.8 баллов на 100 сравнений, Fable 5.1 — 58.2. Оценки выставлял автоматический судья, который коррелирует с человеческими предпочтениями лучше других моделей; отдельный аудит проверил его на 1400 оценках от 50 человек.

score 40r/LocalLLaMA