LittleBit: Сверхнизкоразрядное квантование через факторизацию латентных переменных

Исследователи представили метод LittleBit, позволяющий достигать экстремально низкого битрейта при квантовании моделей с помощью факторизации латентных представлений. Работа демонстрирует новые возможности в области обучения с учетом квантования (QAT) для создания сверхкомпактных нейросетей.