Назад к дайджесту
GitHub

Курс от Datawhale по SGLang: от основ инференса LLM до первого PR

Официальный курс от Datawhale и SGLang, посвященный оптимизации инференса больших языковых моделей. Участники изучают принципы работы SGLang, создают мини-версию фреймворка с нуля и осваивают чтение исходного кода для внесения первых вкладов в проект.

1.4k106 forksPythonscore 82.9
cudainfrainference-enginesglangtutorialdatawhalekv-cachellmllm-inference