Нейросети с нетрадиционным квантованием

Материал посвящён экспериментальным методам квантования, позволяющим запускать модели на 27 миллиардов параметров на обычном ноутбуке. В отличие от классического low-bit квантования, подход отказывается от аппроксимации весов в пользу использования ограниченного набора значений. Это исследование демонстрирует перспективы оптимизации ИИ для работы на потребительском железе.