Серия по инженерии GPU-ядер: от наивного GEMM до FlashAttention, H100 и Blackwell (44 урока, код открыт)

Автор выкладывает бесплатный курс по оптимизации GPU-ядер для задач машинного обучения, делая упор на управление перемещением данных и модель roofline. В рамках серии рассматривается создание ядра FlashAttention с нуля, а также разбираются архитектуры Hopper и Blackwell, включая работу с Tensor Cores, CUTLASS и квантованием.