Тестирование производительности Qwen 3.8 Flash с использованием серверных платформ AMD EPYC и большого объема RAM

Автор провел бенчмаркинг модели Qwen 3.8 Flash (квантование Q8) на арендованных инстансах vast.ai с материнскими платами AMD ROME и видеокартами RTX 3090. Тесты показали почти линейное масштабирование производительности до 8 одновременных потоков при использовании Strata и Unsloth, что подчеркивает важность большого объема системной RAM и мощных CPU для разгрузки VRAM видеокарт.