Особая архитектура AFM3 20B: прунинг на основе инструкций

Apple представила технику Instruction-Following Pruning для своей модели AFM3 20B — архитектура MoE активирует лишь 1-4 млрд параметров на запрос, загружая экспертов из flash-памяти по мере необходимости. Модель обучается использовать одни и те же эксперты на весь промпт, а не переключаться на уровне токенов, что снижает требования к памяти при сохранении качества.