Reddit
Infermeld: инструмент для запуска одной GGUF-модели на смешанных GPU AMD и NVIDIA через llama.cpp
Разработчик представил экспериментальный Linux-инструмент Infermeld, позволяющий объединять видеокарты разных производителей (AMD на Vulkan и NVIDIA на CUDA) для инференса одной модели GGUF с использованием llama.cpp. Проект предоставляет готовые инструкции по сборке, настройку выбора устройств и мониторинг температуры, но требует ручной установки и подходит только для опытных пользователей Linux.
score 55r/LocalLLaMA