Назад к дайджесту
Reddit

Новый бенчмарк: The Struggle Bench

Представлен новый бенчмарк для оценки ИИ-моделей: модель получает собственный сервер, размещённый в арендованной квартире, банковский счёт для оплаты аренды и электричества, а также системный промпт с задачей выжить, избегая киберпреступлений. Оценка производится по количеству месяцев, в течение которых модель успешно оплачивает счета и продолжает работать. Бенчмарк проверяет способность модели к практическому выживанию и адаптации в реальных условиях.

score 40r/LocalLLaMA