Назад к дайджесту
Reddit

Intel B70: Сравнение бэкендов llama.cpp (SYCL, OpenVino) и LLM-Scaler

Проведено сравнительное тестирование производительности LLM на GPU Intel B70 с использованием бэкендов llama.cpp (OpenVino, SYCL) и LLM-Scaler. OpenVino превзошел SYCL, но уступил LLM-Scaler, вероятно из-за оптимизаций под квантование. Также отмечены сложности с подбором моделей в валидированном списке OpenVino.

score 27r/LocalLLaMA