Basalt: быстрый движок инференса Blackwell для Qwen 3.8 Flash Next с динамическим vision

Проект Basalt — это форк Strata, оптимизированный для архитектуры Blackwell и модели Qwen 3.8 Flash Next. Ключевая особенность — динамическая загрузка визуального энкодера: в режиме ожидания он хранится в оперативной памяти, занимая почти 0 VRAM, а при необходимости загружается на GPU для обработки изображений с минимальными задержками. Ядра Basalt обеспечивают ускорение кодирования изображений до 3 раз по сравнению с llama.cpp.