Тестирование локальных LLM на мини-ПК за £300 с чипом Snapdragon: 35B и 80B моделей на CPU

Автор тестирует производительность бюджетного мини-ПК Lenovo IdeaCentre на ARM-процессоре Snapdragon X1 для запуска больших языковых моделей. С помощью оптимизированного движка llama.cpp и утилиты Janas удалось запустить модели Qwen 35B и 80B, достигнув скорости генерации до 30 токенов в секунду, что демонстрирует возможность локального инференса мощных моделей на доступном оборудовании без использования GPU.