Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память

Производители ИИ-ускорителей наращивают число тензорных ядер и переходят на форматы FP8/FP4, но производительность упирается в пропускную способность памяти. Samsung планирует решить проблему с помощью HBM5, удвоив производительность относительно HBM4E и повысив эффективность на 20%, с пропускной способностью до 4 ТБ/с на стек благодаря 4096-битной шине.