Конспекты по ML: энтропия, KL-дивергенция и логистическая регрессия

Пользователь делится конспектами по теории информации: энтропия, KL-дивергенция и перекрёстная энтропия. Материал раскрывает математическую связь между максимизацией правдоподобия и функцией потерь перекрёстной энтропии в логистической регрессии. Полный набор заметок выложен в GitHub.