Позиционные эмбеддинги: почему простая сумма векторов не всегда работает

Автор разбирает концепцию позиционных эмбеддингов в контексте обучения LLM с нуля, указывая на кажущуюся простоту добавления векторов позиции к эмбеддингам слов. Статья посвящена глубоким вопросам и нюансам, возникающим при реализации механизма внимания в нейросетях.