Как заглянуть внутрь «черного ящика» нейросети

Статья исследует механизмы интерпретируемости больших языковых моделей, объясняя, что за красивыми ответами скрывается лишь вероятностный подбор слов. Рассматриваются методы анализа внутренних состояний сети для выявления галлюцинаций, манипуляций и обмана, которые невозможно отследить по финальному результату.