Обучение LoRA-адаптеров для 3B модели Apple на Mac и бесплатном Colab T4

Автор делится опытом обучения LoRA-адаптеров для 3B модели Apple, используя QLoRA и 4-битное квантование для запуска на Mac и Colab T4. Точность модели выросла с 40% до 86% благодаря оптимизации памяти и нативным ядрам Metal. В материале также описан критический баг с невидимым потреблением диска в инструментарии Apple.