Назад к дайджесту
Reddit

Обновление: DFlash2 для Qwen3.8-Flash-Next теперь совместим с llama.cpp и ускоряет генерацию на 17%

Вышла поддержка формата DFlash2 для модели Qwen3.8-Flash-Next в llama.cpp v0.8.0, что позволяет использовать его для ускорения декодирования. Тестирование на Apple Silicon показало рост скорости генерации в среднем на 17% при значительном снижении потребления памяти для черновых моделей (draft heads), при этом поддерживается работа с изображениями.

score 40r/LocalLLaMA