Мобильные оффлайн LLM: Для чего вы их используете?

Автор делится опытом работы с открытыми ML-моделями (MLX, GGUF) на iPhone, тестируя модели от 0.5B до 8B в условиях ограниченных ресурсов. Описаны практические кейсы: суммаризация, анализ документов, кодинг и приватный чат с применением техник сжатия контекста для расширения окна. Подчёркивается, что мобильный сегмент для оффлайн-инференса пока недостаточно изучен по сравнению с десктопными решениями.