Session-Adaptive Orthogonal Distillation (SAOD): технология сжимает модель на 744 млрд параметров с 1.5 ТБ до 100 ГБ

Обсуждается метод Session-Adaptive Orthogonal Distillation (SAOD), заявляющий о возможности сжатия моделей на 744 млрд параметров с 1.5 ТБ до 100 ГБ. В обсуждении упоминается, что это может позволить запускать MOE-модели на 70-100 млрд параметров даже на видеокартах с 8 ГБ VRAM. Автор поста признаёт заголовочный кликбейт, но указывает на практическую значимость технологии для снижения аппаратных требований.