Как запустить Kimi K3 дома: удешевление экспериментов с моделями 2.8T

Автор предлагает метод «Blueprint Distillation» для сжатия больших MoE-моделей, таких как Kimi K3. Идея заключается в создании переиспользуемого промежуточного представления после анализа учителя, что позволяет обучать модели разного размера без повторного дорогостоящего профилирования. Подход решает проблему локального запуска больших моделей, экономя вычислительные ресурсы при экспериментах.