543 токена в секунду: Qwen3.6-35B-A3B на RTX 5090 с контекстом 65K

Разработчик открыл NInfer — кастомный C++/CUDA движок инференса, оптимизированный под Qwen3.6. На одной видеокарте RTX 5090 модель Qwen3.6-35B-A3B выдала 542 токена в секунду при генерации 65 тысяч токенов. Проект доступен на GitHub с конвертированными артефактами весов.