Nemotron 3.5 Bolt E4B на Jetson Orin Nano Super работает со скоростью 27.7 токенов в секунду

Разработчики продемонстрировали запуск модели NVIDIA Nemotron 3.5 Bolt E4B на edge-устройстве Jetson Orin Nano Super со скоростью 27.7 токенов в секунду, что на 1.8 раза быстрее официальных показателей Llama CPP. Модель, использующая int4-квантование через TensorRT, способна генерировать код игр прямо на недорогом периферийном устройстве без подключения к облаку.