Тестирование производительности ИИ-устройства Tiiny: запуск локальных моделей

Автор делится результатами тестирования портативного устройства Tiiny Pocket с NPU, запуская на нем различные языковые модели, включая Qwen и gpt-oss. Приведены метрики скорости генерации токенов и времени отклика для моделей разного размера и архитектуры.