Reddit
Новые раскладки типов тензоров для моих GGUF-загрузок
Автор публикует блог-пост о проведённом исследовании и изменениях в форме моделей, которые он выкладывает. Новые раскладки тензоров для GGUF-квантования показывают лучшие результаты по всем параметрам по сравнению с предыдущими версиями.
score 40r/LocalLLaMA