Reddit
В llama.cpp добавлена поддержка MTP в релизе b9180
Популярная библиотека llama.cpp для локального запуска LLM получила обновление b9180 с внедрением технологии MTP. Это изменение оптимизирует скорость инференса за счёт многозадачного предсказания токенов. Релиз актуален для разработчиков, работающих с открытыми языковыми моделями.
score 57r/LocalLLaMA