Собственный движок инференса: запуск модели на 32B параметров с контекстом 262K в рамках бюджета 16 ГБ VRAM

Команда разработчиков представила движок Agens Engine и модель Volundr, оптимизированные для работы с длинным контекстом на ограниченном объеме видеопамяти. Архитектура использует фиксированный размер состояния для большинства слоев, позволяя выгружать избыточные данные в системную RAM, что удерживает пиковое потребление GPU на уровне 16 ГБ при обработке текстов объемом до 110K токенов.