Почему softmax теряет градиенты и как это исправить: разбор препринта DeepMind

Статья разбирает проблему исчезновения градиентов при использовании функции softmax, приводя практические примеры на NumPy и рекомендации по исправлению ошибок в стандартных библиотеках. Основа материала — свежий научный препринт от DeepMind, объясняющий, как маленькие числа влияют на обучение нейросетей и дистилляцию знаний.