Reddit
Циклы «бесконечного размышления» в Laguna-S-2.1 вызваны артефактами квантования
Пользователь выявил, что бесконечные циклы генерации в модели Laguna-S-2.1 при запуске через llama.cpp связаны с неточным квантованием весов. Решение заключается в использовании APEX-квантования и возврате к стандартным настройкам выборки, а не в тонкой настройке параметров. Также отмечается, что агентовые модели склонны к петлям при отсутствии внешних инструментов для привязки мыслей.
score 40r/LocalLLaMA