Reddit
OrangePi AI Studio Pro: запуск Qwen3.5-122B-A10B
Автор поделился методом запуска vLLM на OrangePi AI Studio Pro с моделью Qwen3.5-122B-A10B. Для корректной работы torch_npu была написана заглушка rtGetDevMsg, имитирующая возможности устройства. Это решение позволяет эффективно использовать ИИ-инференс на данном оборудовании.
score 40r/LocalLLaMA