Запуск 35-миллиардной MoE-модели Qwen 3.6 на смартфоне Xiaomi 12 Pro с 12 ГБ ОЗУ

Автор проекта BigMoeOnEdge успешно запустил квантованную модель Qwen 3.6 35B MoE на модифицированном Xiaomi 12 Pro. Скорость генерации достигла 2.4 токена в секунду при ограничении контекста 8192 токенами из-за нехватки памяти. Демонстрация подтверждает возможность работы больших языковых моделей на мобильных устройствах с ограниченным ресурсом.