Разделение тензоров по PCIe 3.0 x1: неожиданные результаты

Автор тестирует инференс больших языковых моделей (до 71B параметров) с использованием двух GPU, соединенных через узкий интерфейс PCIe 3.0 x1. Применение разделения тензоров вместо послойного в llama.cpp дало прирост скорости генерации на 42-77%, при этом пропускная способность шины составила всего 90–110 МБ/с, что далеко от предела в ~985 МБ/с.