Гибридный локальный инференс на Android: llama.cpp + LiteRT + маршрутизация NPU/GPU

Разработчик представил проект Box — полностью оффлайн AI-ассистент для Android, объединяющий llama.cpp, whisper.cpp и stable-diffusion.cpp в едином приложении. Ключевой фокус на гибридной архитектуре инференса с автоматическим выбором оборудования (CPU/GPU/NPU) и оптимизации памяти на мобильных устройствах.