vLLM-Radiance на четырёх R9700: 17,6k токенов при префилле

Пользователь поделился результатами запуска vLLM-Radiance на конфигурации из четырёх GPU AMD R9700, достигнув 17 636 токенов/сек при префилле и 106 токенов/сек при генерации. Система работает с моделью Qwen 27b fp8 и контекстом 262k, при этом vLLM-Radiance стабильно использует все четыре карты несмотря на официальную поддержку только дуальных сборок.