Назад к дайджесту
Reddit

Basalt: оптимизированный движок инференса для Qwen3.8 Flash-Next на архитектуре Blackwell

Разработчик представил форк Strata под названием Basalt, специализированный движок инференса для модели Qwen3.8 Flash-Next на GPU NVIDIA Blackwell. Решение обеспечивает до 2.6-кратного прироста скорости генерации (до 665 токенов/с) за счет кастомной упаковки весов, оптимизированного кодировщика зрения и поддержки MTP, работая на Linux с открытым исходным кодом.

score 40r/LocalLLaMA