llama.cpp запускает 80B MoE-модели в браузере через WebGPU с подкачкой экспертов с диска

Разработчики llama.cpp интегрировали механизм подкачки (paging) экспертов MoE-моделей в свой WebGPU-бэкенд, что позволяет запускать крупные модели, такие как Qwen3-Next 80B, прямо во вкладке Chrome. Данные загружаются из файла GGUF в OPFS браузера и динамически перемещаются между дисковым хранилищем и памятью GPU по мере необходимости, обеспечивая идентичность результатов с нативными бэкендами.