Прямой эфир по квантованию моделей с участием экспертов vLLM и llama.cpp

Команда Hugging Face проводит мастер-класс по квантованию языковых моделей с ведущими разработчиками vLLM и llama.cpp. В рамках трансляции будут рассмотрены современные методы, такие как двойное квантование, калибровка, а также форматы k-quants и i-quants.