Назад к дайджесту
Reddit

Экономия ~22% VRAM без потерь: упаковка на основе троичной системы для GGUFF

Автор разработал новый формат GGUF для троичных моделей (например, BitNet-b1.58), который упаковывает веса напрямую в троичной системе счисления, экономя около 22% памяти по сравнению со стандартным Q2_0. Формат B3S использует 1.75 бита на вес и не теряет точность, поскольку исходные веса уже ограничены значениями -1, 0, +1. Реализация доступна в форке llama.cpp, но поддержка CUDA и Metal пока не проверена на реальном оборудовании.

score 40r/LocalLLaMA