Reddit
Насколько важна подсказка? Генерическая обратная связь в hindsight self-distillation
Исследование показывает, что при обучении модели GPT-OSS-20B методом hindsight self-distillation замена детальных критических замечаний на одну универсальную строку обратной связи дает тот же прирост точности, что и использование сложных самокритик. Это указывает на то, что ключевую роль играет позиционная информация о месте ошибки, а не содержание самой подсказки.
score 40r/MachineLearning