Reddit
Прирост производительности llama.cpp на 37-130% в обновлении Mesa для Vulkan на Intel Xe2
Обновление Mesa улучшает производительность Vulkan-бэкенда в библиотеке llama.cpp, ускоряя обработку промптов. Прирост достигает 130% на графических процессорах Intel Xe2 под управлением Linux. Это важно для оптимизации локального инференса больших языковых моделей.
score 46r/LocalLLaMA