Конвертация моделей Hugging Face в формат GGUF: руководство

Статья описывает процесс самостоятельной конвертации весов моделей из формата safetensors в GGUF для получения нужного уровня квантования. Описывается использование скрипта convert_to_gguf.sh, который автоматизирует установку зависимостей и финальное создание файла.