1-битная модель 27B в браузере: 25–30 ток/с на ноутбучной RTX 3060 6 ГБ (WebGPU, без установки)

mentria.ai — это браузерный движок инференса, написанный с нуля на WebGPU/WGSL. Он достиг скорости до 30 ток/с для 27-миллиардной 1-битной модели на ноутбучной RTX 3060 с 6 ГБ видеопамяти прямо в Chrome, без установки и сервера. Модель Bonsai-27B от Prism ML упакована в 3.8 ГБ, а оптимизация ядра для мобильных устройств и устранение конфликтов банков памяти позволили удвоить скорость декодирования.