Кластеризация двух старых Android-смартфонов для локального запуска LLM на 27 млрд параметров

Автор разработал кастомный C++ движок на базе llama.cpp для объединения двух устройств по USB, что позволило обойти лимиты оперативной памяти и запустить модель Ternary-Bonsai-2-27B. Использование тернарного квантования и преобразования Хадамара на ARM-процессорах обеспечило генерацию текста без перегрева оборудования.