Reddit
Финальная оптимизация vllm-radiance для одной GPU R9700 с моделью Qwen3.8-27B
Автор публикует итоговую версию сборки vllm-radiance, адаптированную для одной видеокарты AMD R9700 и модели Qwen3.8-27B. В релиз включены кэширование запуска для предотвращения перекомпиляции, рабочая функция выгрузки KV-кэша (VRAM-SYSRAM-DISK) с утоньшением памяти, что позволяет запускать многоагентные сценарии с длинным контекстом на одном устройстве.
score 40r/LocalLLaMA