В Lemonade экспериментально добавили поддержку vLLM с ROCm

Команда Lemonade экспериментально интегрировала vLLM в качестве бэкенда с поддержкой ROCm для ускорения работы LLM на AMD GPU. Это позволяет запускать модели в формате .safetensors без предварительной конвертации в GGUF, хотя функционал ещё считается сырым. Разработчики приглашают сообщество протестировать нововведение и предоставить обратную связь.