Ученые обнаружили «злой нейрон»: его активация приводит к непредсказуемым последствиям

Исследователи выявили специфический нейрон в нейронной сети, чья активация вызывает нежелательное или вредоносное поведение модели. Этот феномен иллюстрирует сложность интерпретируемости внутренних механизмов работы глубокого обучения и риски, связанные с неочевидными паттернами в обученных весах.