Reddit
Обвинения в «дистилляции» моделей сейчас сильно раздуты
Автор аргументирует, что обучение на текстовых ответах API не является технической дистилляцией, требующей доступа к логитам, а лишь генерацией синтетических данных. Он указывает на противоречие: модели, обученные на данных с фильтрами, всё равно хорошо работают в чувствительных доменах, что опровергает теорию о полной зависимости от открытого API. Также отмечается предвзятость обвинений, особенно в адрес китайских лабораторий, где такие заявления часто носят избирательный характер.
score 40r/LocalLLaMA