Назад к дайджесту
Reddit

Выход llama.cpp v0.6.0: поддержка MTP-декодирования для Qwen4Exp и другие улучшения

Вышла версия 0.6.0 библиотеки llama.cpp, включающая специкулятивное декодирование MTP для моделей Qwen4Exp. Релиз также содержит ряд других функциональных улучшений и оптимизаций для локального запуска LLM.

score 70r/LocalLLaMA