Исследователи нашли способ сократить вычислительные затраты на обучение LLM на 15% без потери качества

На конференции EMNLP 2026 представлена методика LIMe (Layer-Integrated Memory), которая снижает потребность в вычислениях при обучении языковых моделей примерно на 15%. Метод решает проблему коллапса представлений в трансформерах, позволяя головам внимания извлекать информацию из предыдущих слоев, а не только из непосредственно предшествующего.