Запуск 35B-модели на RTX 3060 и RTX 5080: 109 токенов в секунду через PCIe Gen2 x4

Автор тестирует производительность модели Qwen3.6-35B-A3B на конфигурации из видеокарт RTX 3060 и RTX 5080, соединенных через шину PCIe Gen2 x4. Несмотря на узкую пропускную способность интерфейса, удается достичь скорости генерации 109 токенов в секунду, что позволяет оценить эффективность распределения вычислений между GPU.