Reddit
SFTMill: инструмент для off-policy дистилляции LLM через совместимый с OpenAI API
SFTMill — это инструмент, позволяющий создавать датасеты для обучения моделей на основе заданной «учебной программы» (curriculum). Система генерирует задачи с помощью базовой LLM, а целевая модель решает их, формируя полные пары вопрос-ответ для последующей дистилляции знаний.
score 55r/LocalLLaMA