Reddit
Сравнение качества: Basalt, Infernix и Strata(-nvfp4) — есть ли бенчмарки?
Автор обсуждает компромисс между скоростью инференса и качеством моделей Basalt, Infernix и Strata-nvfp4. Отмечается, что Basalt не поддерживает динамическое масштабирование Rope, что влияет на работу с длинным контекстом, однако добавление функции цензуры реализуемо.
score 40r/LocalLLaMA