Нейроанатомия LLM III: модели мыслят геометрией, а не языком

Исследование проанализировало внутренние представления пяти моделей и показало, что в средних слоях нейросети языковая идентичность исчезает, а семантически близкие концепты сближаются независимо от языка. Более того, текст, код и математика сходятся в одной области пространства, подтверждая гипотезу о том, что LLM мыслят универсальной геометрией, а не лингвистическими структурами.