Модификация Strata для IBM AC922 с Qwen3.8-FN: до 7357 токенов/с на префилле и 113 токенов/с на декодировании

Автор форкнул движок Strata и оптимизировал его для работы на сервере IBM AC922 с процессорами POWER9 и GPU NVIDIA Tesla V100. Благодаря настройке управления памятью, использованию NVLink и специфическим параметрам квантования удалось достичь высокой скорости инференса для модели Qwen3.8-FN, значительно превзойдя результаты llama.cpp.