Квантование RWKV-7: анализ деградации моделей разного размера

Автор исследует посттренировочное квантование семейства языковых моделей RWKV-7, выявляя неочевидные зависимости между размером модели и потерей качества. Показано, что дисбаланс в матрицах проекций может вызывать сильную деградацию, и предложен метод автоподбора битности для минимизации ошибки при заданном размере файла.