Назад к дайджесту
Reddit

llama.cpp: добавлена поддержка квантования Q2_0 для WebGPU

В проект llama.cpp добавлена поддержка формата квантования Q2_0 для ускорения инференса через WebGPU с использованием нативного бэкенда Dawn. Бенчмарки на RTX 3060 демонстрируют значительный прирост производительности по сравнению с мастер-веткой для моделей Ternary Bonsai и Bonsai 2.

score 55r/LocalLLaMA