Назад к дайджесту
Reddit

Сравнение качества: Basalt, Infernix и Strata(-nvfp4) — есть ли бенчмарки?

Автор обсуждает компромисс между скоростью инференса и качеством моделей Basalt, Infernix и Strata-nvfp4. Отмечается, что Basalt не поддерживает динамическое масштабирование Rope, что влияет на работу с длинным контекстом, однако добавление функции цензуры реализуемо.

score 40r/LocalLLaMA