Прогнозы по Qwen4 HC и квантованию: почему стандартные подходы могут не сработать

Автор анализирует влияние архитектуры Hybrid Concatenation (HC) на эффективность квантования, предупреждая, что NVFP4 может искажать чувствительные к точности тензоры распределения информации. Рекомендуется использовать специализированные стратегии квантования и инструменты вроде llama.cpp для моделей с HC, так как стандартные подходы могут привести к значительному падению качества по сравнению с FP16.