Отслеживание происхождения «мусорного» стиля LLM в модели и обучении и его устранение

Исследование выявляет, что характерный для ассистентов стиль (использование тире, клише, списков) формируется на этапах SFT и DPO, а не присутствует в базовой модели. Предложен метод направленной аблации и адаптации LoRA, позволяющий снизить уровень «мусорного» контента до 83% без потери качества ответов.