Основы обучения LoRA: Часть 3 — Гиперпараметры

Гид посвящён настройке гиперпараметров при обучении LoRA, включая caption dropout и перемешивание токенов. Автор рекомендует отключать dropout для малых датасетов и избегать перемешивания токенов на современных архитектурах с T5, так как они чувствительны к порядку слов. Материал поможет избежать ошибок при тонкой настройке генеративных моделей.