Эпистемные элементы и формы в пространствах активаций LLM

Статья исследует наличие в пространствах активаций больших языковых моделей специфических элементов, таких как истинность, угодливость и семантическая энтропия. Показано, что эти концепции имеют экспериментально выявляемые корреляты в виде осей или направлений в активациях, влияющих на траекторию генерации ответов.