Reddit
Для владельцев V100: SGLang с Qwen, Dflash и Laguna
Разработчик адаптировал фреймворк SGLang для работы на старых GPU V100, внедрив оптимизации FlashAttention и поддержку моделей Qwen 3.5/3.6. Предоставлен Docker-образ и репозитории с реализацией TileLang и Marlin-V100 для ускорения инференса.
score 40r/LocalLLaMA