Оптимизация скорости префилла Strata на одном и двух GPU

Автор обсуждает низкую скорость префилла (около 150-200 токенов в секунду) при запуске модели Strata на видеокартах RTX 4070 и V100. В посте приведены используемые флаги запуска и параметры конфигурации, а также запрашиваются рекомендации по улучшению производительности.