Снижение скорости обучения исправило мой QLoRA-файн-тюнинг лучше любых других попыток

Пользователь описывает успешный опыт дообучения Llama 3.1 8b методом QLoRA, где снижение скорости обучения с 2e-4 до 1e-4 предотвратило переобучение на малом датасете. Дополнительно автор очистил данные от зашумленных примеров, что также положительно сказалось на результатах. Материал полезен для практиков, работающих с гиперпараметрами при малом объеме данных.