Назад к дайджесту
Reddit

GB10 Solution Atlas открыт как open-source: движок инференса со скоростью 100+ токенов/сек на Qwen3.6-35B

Разработчики открыли исходный код движка инференса GB10 Solution Atlas, созданного на Rust и CUDA без использования Python-рантайма. На DGX Spark с чипом GB10 система показывает до 100+ токенов в секунду на модели Qwen3.6-35B-FP8, превосходя vLLM в 3 раза за счёт NVFP4 и спекулятивного декодирования. В планах адаптация под AMD и RTX 6000 Pro Blackwell с сохранением оптимизированных CUDA-ядер.

score 31r/LocalLLaMA