Reddit
Прямое обучение LoRA на квантованных GGUF-моделях без PyTorch и конвертации в FP16
Описан метод прямого дообучения адаптеров LoRA на квантованных GGUF-файлах с использованием CPU, что исключает необходимость в PyTorch, преобразовании весов в FP16 или установке дополнительных фреймворков. Подход гарантирует, что адаптер обучается на тех же весах, на которых будет работать при инференсе, позволяя затем слить его в итоговую GGUF-модель.
score 40r/LocalLLaMA