GitHub
GPillon/Ignis: сервер инференса для Qwen3.8 и Flash-Next на Rust и CUDA
Проект представляет собой совместимый с OpenAI сервер инференса, оптимизированный для локального запуска больших языковых моделей на видеокартах NVIDIA. Поддерживает высокую скорость генерации текста для моделей Qwen3.8 (27B) и Flash-Next (125B MoE) на Windows и Linux.
326 forksRustscore 66.2
self-hostedcudaopenai-apicoding-agentsinference-enginelocal-llmqwen3nvfp4rtx-5090mixture-of-experts