Specter: Быстрый вывод MoE-моделей через квантование и многошаговую спекулятивную выгрузку

Представлена система Specter, использующая квантованную черновую модель для предсказания активации экспертов в Mixture-of-Experts архитектурах. Это позволяет заранее планировать передачу данных по PCIe и выполнение вычислений, устраняя узкие места ввода-вывода. Метод обеспечивает ускорение вывода до 1.88x на одном GPU за счёт эффективного управления памятью.