Назад к дайджесту
Reddit

Infermeld: инструмент для запуска одной GGUF-модели на смешанных GPU AMD и NVIDIA через llama.cpp

Разработчик представил экспериментальный Linux-инструмент Infermeld, позволяющий объединять видеокарты разных производителей (AMD на Vulkan и NVIDIA на CUDA) для инференса одной модели GGUF с использованием llama.cpp. Проект предоставляет готовые инструкции по сборке, настройку выбора устройств и мониторинг температуры, но требует ручной установки и подходит только для опытных пользователей Linux.

score 55r/LocalLLaMA