Назад к дайджесту
Reddit

Hipfire: новый движок вывода, оптимизированный для GPU AMD

Hipfire — новый движок вывода LLM от сообщества, оптимизированный для всех GPU AMD, включая RDNA3. Инструмент использует метод квантования mq4 и демонстрирует значительный прирост скорости на бенчмарках Localmaxxing. Проект не связан официально с AMD, но важен для энтузиастов локального запуска моделей.

score 100r/LocalLLaMA