GitHub
vLLM для чипов Baidu Kunlun
Движок vLLM для высокопроизводительного инференса LLM получил поддержку нейронных процессоров Baidu Kunlun. Это позволяет оптимизировать запуск больших языковых моделей на китайском аппаратном обеспечении.
Движок vLLM для высокопроизводительного инференса LLM получил поддержку нейронных процессоров Baidu Kunlun. Это позволяет оптимизировать запуск больших языковых моделей на китайском аппаратном обеспечении.