PACE: Периодическое и канально-выровненное кодирование четырехбитных рекуррентных состояний

Исследователи представляют метод PACE для постобучающей квантизации состояний линейных трансформеров до четырех бит. Метод снижает накопление ошибок за счет редкого округления состояний и группировки масштабов квантования по каналам, что позволяет сократить потребление памяти при сохранении скорости декодирования.