Назад к дайджесту
Reddit

Поддержка MTP в Unsloth

Unsloth выпустила модели Qwen3.6 (27B и 35B) с сохранённым слоем MTP для ускорения инференса. Для работы требуется сборка llama.cpp с поддержкой MTP, инструкции доступны в карточке модели на Hugging Face.

score 100r/LocalLLaMA