Назад к дайджесту
Reddit

Прямое обучение LoRA на квантованных GGUF-моделях без PyTorch и конвертации в FP16

Описан метод прямого дообучения адаптеров LoRA на квантованных GGUF-файлах с использованием CPU, что исключает необходимость в PyTorch, преобразовании весов в FP16 или установке дополнительных фреймворков. Подход гарантирует, что адаптер обучается на тех же весах, на которых будет работать при инференсе, позволяя затем слить его в итоговую GGUF-модель.

score 40r/LocalLLaMA