Уроки параллелизма на CPU, применимые к GPU-ядрам: цепочки зависимостей, неассоциативность операций с плавающей точкой, ложное разделение данных и циклы, ограниченные пропускной способностью памяти

Автор разбирает фундаментальные принципы оптимизации параллельных вычислений на примере CPU, подчеркивая их прямую применимость к проектированию GPU-ядер. Рассматриваются такие аспекты, как разделение цепочек зависимостей для скрытия задержек, влияние неассоциативности сложения чисел с плавающей точкой на детерминизм результатов, проблемы ложного разделения данных (false sharing) и ограничения, накладываемые пропускной способностью памяти.