Оптимизация Qwen3.8-27B для Jetson Thor: 40 токенов/с при точности уровня FP16

Команда Embedl представила оптимизированную версию модели Qwen3.8-27B для платформы NVIDIA Jetson Thor, достигнув скорости декодирования около 40 токенов в секунду. Решение использует квантование INT4, технологию FlashHead и специкулятивное декодирование (MTP), сохраняя точность, сопоставимую с полнобитной FP16 версией на бенчмарках GSM8K и IFEval.