Geezuz: оптимизированное ядро CUDA для модели Qwen2.5-32B на двух RTX 3090

Разработчик Geezuz представил форк ядра megakernel, позволяющий запускать модель Qwen2.5-32B на двух видеокартах RTX 3090 через PCIe без NVLink. Решение обеспечивает до 190 токенов в секунду на один запрос и более 620 токенов в секунду при параллельной обработке восьми запросов, превосходя по скорости стандартные сборки llama.cpp и приближаясь к показателям vLLM. Архитектура использует единый персистентный CUDA-ядерный проход с обменом данными через PCIe и поддержку MTP (Multi-Token Prediction) для ускорения генерации.