Назад к дайджесту
Reddit

Я воспроизвёл AI-бенчмарки, но не смог проверить бизнес-заявления

Автор проверил 100 проектов XPRIZE AI, детально изучил 14 и независимо протестировал 5. Технические показатели часто воспроизводились, но бизнес-заявления (выручка, клиенты, использование) оказались непроверяемыми, так как эти данные не публичны. Он также обнаружил, что заявления вроде «AI управляет бизнесом» скрывают разные механизмы: пороговые значения без вызова модели, использование Claude и Gemini для разных задач. Главный вопрос — что именно измеряется и где модель реально входит в систему.

score 40r/artificial