Назад к дайджесту
Reddit

Эффективное хранение файнтюнов моделей

DeltaTensors сжимает чекпоинты дообученных моделей, сохраняя только разницу весов от базовой модели вместо полной копии. Например, файнтюн Qwen2.5-0.5B размером 953 МБ сжимается до 294 МБ дельты, а perplexity меняется с 19.11 до 19.22. Инструмент работает после обучения, поддерживает цепочки дельт для версий, чекпоинты Hugging Face Trainer и потоковое сжатие/восстановление.

score 40r/LocalLLaMA