Бенчмарки llama.cpp: Nvidia RTX 3090 против Intel Arc Pro B70

Автор сравнивает скорость локального запуска языковых моделей на видеокартах Nvidia RTX 3090 и Intel Arc Pro B70 с использованием фреймворка llama.cpp. Тесты включают обработку промптов и генерацию токенов для различных моделей (Llama, Gemma, Qwen) через бэкенды Vulkan и SYCL. Результаты показывают значительное преимущество RTX 3090, но выявляют нюансы производительности Intel в зависимости от используемого бэкенда.