Обучение трансформера из 414 тыс. параметров для управления стадом бойдов: интерпретируемость через линейный зонд

Автор обучил компактный трансформер на PyTorch предсказывать движение стаи из 12 птиц без явного задания правил, достигнув высокой точности (R² до 0.994) на тестовых данных. Исследование показывает, что внутренние представления модели позволяют извлечь правила поведения стаи (сплоченность и выравнивание) с помощью линейного зонда, что подтверждает интерпретируемость небольших нейросетей.