Назад к дайджесту
Reddit

Оптимизация llama.cpp: чанковый CUDA/HIP-ядро ускоряет генерацию токенов

В репозиторий llama.cpp добавлено pull-запросом новое чанковое ядро для вычислений CUDA и HIP. Тестирование на GPU NVIDIA Blackwell, RTX 5090/4090 и Spark GB10 показывает прирост скорости генерации токенов от 3% до 20% в зависимости от модели и размера контекста.

score 55r/LocalLLaMA