GitHub
Готовые сборки llama-cpp-python от dougeeai
Репозиторий предоставляет готовые бинарные пакеты (wheels) для библиотеки llama-cpp-python. Поддержка различных платформ и версий CUDA упрощает установку без необходимости компиляции из исходного кода. Это критически важно для разработчиков, работающих с локальным инференсом больших языковых моделей.
573 forksscore 51.7
blackwell-architectureada-architectureblackwellggufwheelsampereprebuiltrtx3060llmblackwell-gpu