Назад к дайджесту
Reddit

SFTMill: инструмент для off-policy дистилляции LLM через совместимый с OpenAI API

SFTMill — это инструмент, позволяющий создавать датасеты для обучения моделей на основе заданной «учебной программы» (curriculum). Система генерирует задачи с помощью базовой LLM, а целевая модель решает их, формируя полные пары вопрос-ответ для последующей дистилляции знаний.

score 55r/LocalLLaMA