Reddit
Intel B70: Сравнение бэкендов llama.cpp (SYCL, OpenVino) и LLM-Scaler
Проведено сравнительное тестирование производительности LLM на GPU Intel B70 с использованием бэкендов llama.cpp (OpenVino, SYCL) и LLM-Scaler. OpenVino превзошел SYCL, но уступил LLM-Scaler, вероятно из-за оптимизаций под квантование. Также отмечены сложности с подбором моделей в валидированном списке OpenVino.
score 27r/LocalLLaMA