Rust-движок для инференса Qwen: обгоняет Strata на GPU с 12 ГБ VRAM

Разработчик представил RustingStrata — движок инференса для моделей Qwen на чистом Rust без использования ggml. Решение поддерживает CUDA и Vulkan, эффективно управляя экспертами MoE-моделей, не помещающимися в видеопамять, за счет гибридного использования CPU и GPU. На тесте с Qwen3.8-Flash-Next движок показал скорость декодирования около 36 токенов в секунду, что значительно быстрее оригинальной реализации Strata.