Qwen 27B работает на взломанной PS5 с частотой ~20 токенов в секунду

Пользователь продемонстрировал запуск языковой модели Qwen 27B на графическом процессоре консоли PlayStation 5 после получения root-доступа. Производительность инференса составила около 20 токенов в секунду, что демонстрирует возможность использования игровых консолей для локального запуска больших языковых моделей.