RustingStrata против llama.cpp: бенчмарк моделей Qwen на RTX 3060

Автор сравнил производительность библиотек RustingStrata и llama.cpp при запуске различных квантованных моделей семейства Qwen (от 2B до 177B) на одном оборудовании. Тестирование показало, что для небольших моделей llama.cpp быстрее выполняет префиллинг, однако для моделей, превышающих объем VRAM видеокарты, RustingStrata обеспечивает ускорение префиллинга в 1,5 раза и декодирования до 2 раз.