Какой параметр использовать для обучения LoRA: shift или sigmoid?

Пользователь обсуждает выбор параметра балансировки (shift или sigmoid) при обучении LoRA-моделей для Qwen 2.1, LLaMA 2 и MOSS. В теме затрагивается вопрос эффективности sigmoid для распознавания лиц и предлагается экспериментировать с параметрами shift balanced и shift low noise в процессе тренировки.