Назад к дайджесту
Reddit

Обновление llama.cpp: включение агрессивных оптимизаций для AMD ROCm/HIP

В библиотеку llama.cpp добавлена возможность включить агрессивные математические оптимизации компилятора для модуля ggml-hip. Это обновление предназначено для пользователей AMD с поддержкой ROCm, потенциально повышая скорость инференса. Пока нет бенчмарков, разработчики просят сообщество протестировать изменения.

score 55r/LocalLLaMA