Назад к дайджесту
Reddit

Генерация синтетического датасета для дообучения

Автор предлагает конвейер генерации данных для обучения моделей на задачах рассуждения, используя учителя и процедурные генераторы. Ключевая идея — избегать шаблонности через верификаторы решений и метрики сложности для формирования кривой обучения. Цель — получить разнообразный датасет высокого качества для дистилляции знаний, а не прямое обучение модели.

score 40r/LocalLLaMA