Назад к дайджесту
Reddit

Прирост производительности llama.cpp на 37-130% в обновлении Mesa для Vulkan на Intel Xe2

Обновление Mesa улучшает производительность Vulkan-бэкенда в библиотеке llama.cpp, ускоряя обработку промптов. Прирост достигает 130% на графических процессорах Intel Xe2 под управлением Linux. Это важно для оптимизации локального инференса больших языковых моделей.

score 46r/LocalLLaMA