Однобитная квантизация Bonsai: сравнение с Qwen и дистилляция

Статья исследует метод однобитной квантизации весов для языковых моделей, демонстрируя, как модель с 27 млрд параметров может занимать всего 4 ГБ памяти. Автор анализирует подход PrismML Bonsai, сравнивает его веса с Qwen и самостоятельно обучает рабочую однобитную модель через дистилляцию.