Инженерия инференса: оптимизация работы моделей ИИ после обучения

Статья представляет обзор книги Филиппа Кили, посвященной оптимизации этапа инференса нейросетей. Рассматриваются методы размещения моделей на оборудовании, ускорения генерации ответов и управления нагрузкой для снижения стоимости и повышения доступности продуктов на базе ИИ.