RidgeFill: метод ускорения префилла без дообучения через кэширование поздних слоев

Исследователи представляют RidgeFill — подход без дообучения, сокращающий время префилла за счет пропускания вычислений верхних слоев нейросети. Состояние промежуточного слоя используется для прогнозирования входов последующих слоев с помощью регрессии, что позволяет ускорить генерацию при минимальной потере точности.