Reddit
Basalt 0.2.0: оптимизация Qwen 3.8 Flash Next с квантованием NVFP4 на RTX 5090
Выпущен движок вывода Basalt 0.2.0, специально разработанный для архитектуры Blackwell и модели Qwen 3.8 Flash Next. Обновление фокусируется на балансе качества и скорости, предлагая новые методы квантования NVFP4 (DQ8 и DQ6_K) с минимальной потерей точности по сравнению с полноточной версией BF16. На конфигурации из RTX 5090 и RTX 5060 Ti достигаются высокие показатели производительности: до 300 токенов/сек для генерации текста и 600 токенов/сек для структурного вывода.
score 40r/LocalLLaMA