Назад к дайджесту
Reddit

OrangePi AI Studio Pro: запуск Qwen3.5-122B-A10B

Автор поделился методом запуска vLLM на OrangePi AI Studio Pro с моделью Qwen3.5-122B-A10B. Для корректной работы torch_npu была написана заглушка rtGetDevMsg, имитирующая возможности устройства. Это решение позволяет эффективно использовать ИИ-инференс на данном оборудовании.

score 40r/LocalLLaMA