QLoRA для квантованных моделей ExLlamaV3: обучение при 2-8 бит на слово

Разработчик представил нативную реализацию обучения QLoRA для квантованных моделей ExLlamaV3 на чистом PyTorch, позволяющую адаптировать модели с точностью 2-8 bpw без использования BNB. Проект поддерживает множество архитектур, включая Llama3, Mistral и Qwen, и демонстрирует более низкую ошибку и меньшее потребление VRAM по сравнению с аналогами.