Обзор локальной ИИ-экосистемы: от Merve (Hugging Face)

Специалист Hugging Face Мerve представила доклад на конференции разработчиков, посвященный использованию llama.cpp и базовым концепциям работы языковых моделей, таким как префилл и декодирование, типы памяти и спекулятивное декодирование. Материал доступен для свободного использования с обязательным указанием авторства.