Запуск MiMo-2.6-Pro на Jetson AGX Thor: 0.646 токена/сек и 566 ГБ модели в 128 ГБ памяти

Пользователь протестировал запуск модели MiMo-2.6-Pro (FP8, ~566 ГБ) на устройстве NVIDIA Jetson AGX Thor с 128 ГБ памяти. Модель успешно загрузилась и запустилась, но продемонстрировала крайне низкую скорость генерации — 0.646 токена в секунду, что связано с необходимостью чтения данных с диска и ограничениями аппаратной памяти.