Как Gufo кэширует гибридные модели: первый пост о движке инференса на базе AMD Strix Halo

Разработчики открытого движка Gufo делятся архитектурными решениями по оптимизации кэширования гибридных моделей для чипов AMD Strix Halo. Статья объясняет, как учитываются особенности унифицированной памяти с низкой пропускной способностью для повышения эффективности инференса.