Reddit
Step 3.7 Flash IQ4_XS GGUF с сохранением процесса мышления
Пользователь поделился квантованной версией модели в формате GGUF с использованием метода сжатия IQ4_XS. Особое внимание уделено сохранению способности модели к логическим рассуждениям и цепочкам мышления после квантования. Релиз ориентирован на локальный запуск больших языковых моделей с оптимизацией под ограниченную видеопамять.
score 40r/LocalLLaMA