Геометрия эмбеддингов GPT-2 Small вокруг токена «Трамп»: дискретные против непрерывных ближайших соседей [P]

Исследование визуализирует структуру векторных представлений токена «Трамп» в статических эмбеддингах модели GPT-2 Small. Анализ показывает разницу в ближайших соседях при дискретизации координат: от общих политических терминов до конкретных исторических личностей и родственников. Работа демонстрирует внутреннюю организацию знаний модели без участия контекста или генерации текста.