Reddit
Обновление llama.cpp: включение агрессивных оптимизаций для AMD ROCm/HIP
В библиотеку llama.cpp добавлена возможность включить агрессивные математические оптимизации компилятора для модуля ggml-hip. Это обновление предназначено для пользователей AMD с поддержкой ROCm, потенциально повышая скорость инференса. Пока нет бенчмарков, разработчики просят сообщество протестировать изменения.
score 55r/LocalLLaMA