Reddit
Хватит уже с FP4-движками инференса, умоляю
Автор критикует новые оптимизированные движки инференса, которые работают только с FP4 (NVFP4/MXFP4). Он утверждает, что для маленьких плотных моделей 4-битное квантование приводит к сильной деградации качества и галлюцинациям, хотя для больших моделей это допустимо. Призыв прекратить использовать FP4 для малых моделей.
score 40r/LocalLLaMA