Reddit
Выход llama.cpp b9095: тензорный параллелизм на двух Blackwell PCIe без NCCL
Вышла версия b9095 библиотеки llama.cpp, которая позволяет использовать тензорный параллелизм на двух потребительских видеокартах Blackwell PCIe без зависимости от NCCL. Это критически важно для запуска больших языковых моделей на домашних системах с несколькими GPU, где нет NVLink. Разработчик анонсировал скорые тесты производительности на конфигурации из двух RTX 5060 Ti.
score 45r/LocalLLaMA