Reddit
Новый бенчмарк: The Struggle Bench
Представлен новый бенчмарк для оценки ИИ-моделей: модель получает собственный сервер, размещённый в арендованной квартире, банковский счёт для оплаты аренды и электричества, а также системный промпт с задачей выжить, избегая киберпреступлений. Оценка производится по количеству месяцев, в течение которых модель успешно оплачивает счета и продолжает работать. Бенчмарк проверяет способность модели к практическому выживанию и адаптации в реальных условиях.
score 40r/LocalLLaMA