Четыре AI-агента на одной RTX 3090: 290 токенов/с благодаря кастомному CUDA-движку для Qwen3.8-27B

Разработчик представил OpenJet — локальный движок с кастомным CUDA-ядром, позволяющий одновременно обрабатывать несколько агентов на базе модели Qwen3.8-27B. Технология использует пакетную обработку токенов для однократного чтения весов из VRAM, что обеспечивает суммарную скорость до 290 токенов/с на одной видеокарте, что в 3-4 раза быстрее стандартного llama-server.