Экстремальный эксперимент: одновременный запуск LLM на 27B, 9B и 2B через узкие PCIe-каналы

Автор демонстрирует работу кластера из разнородных видеокарт AMD и NVIDIA, соединенных через ограниченные PCIe x1/x2 каналы. С помощью кастомного движка Slipstream на базе Vulkan и Flash Attention удалось стабильно выполнять конкурентный инференс моделей Qwen разного размера, преодолевая проблемы с пропускной способностью памяти.