Как EmbeddingGemma-2 вышел на первое место в аудио-бенчмарке MAEB без дообучения

Исследователь показал, что использование PCA для проецирования промежуточных слоев Conformer в неиспользуемое нулевое пространство финальной проекции модели позволяет поднять макросредний балл с 49.3% до 54.4%. Этот метод без обучения (zero training) вывел модель на 1-е место в аудио-части бенчмарка MAEB, опередив более крупные мультимодальные модели.