Тестирование локальных LLM на мини-ПК Snapdragon X: ToRc и Janas показывают до 43 токенов/с

Автор протестировал запуск моделей Qwen3.6 35B и Qwen3.8 Flash Next на двух мини-ПК Lenovo IdeaCentre с чипом Snapdragon X1 и 32 ГБ ОЗУ. Использовались кастомные движки ToRc и Janas, портированные под ARM, которые задействуют CPU и NPU для инференса без дискретной графики. Результаты демонстрируют производительность до 43 токенов в секунду при генерации, что является значимым достижением для бюджетного ARM-оборудования.