Назад к дайджесту
Reddit

Исправление дрейфа тензоров в GGUF-квантах Qwen3.6 с помощью метрики Wasserstein

Автор устранил проблему дрейфа тензоров в слоях SSM квантованных моделей Qwen3.6-35B-A3B, применив метрику Wasserstein для обнаружения численной нестабильности вместо KL-дивергенции. Предоставлен исправленный GGUF-вес и детальные рекомендации по настройке параметров для LM Studio. Решение улучшает стабильность работы модели при длинном контексте.

score 49r/LocalLLaMA