Назад к дайджесту
Reddit

Зацикливание локальных LLM: почему квантованные модели повторяют мысли бесконечно?

Пользователь отмечает, что квантованные локальные языковые модели часто застревают в бесконечном цикле во время фазы генерации мыслей (thinking phase). Обсуждается, связано ли это с нехваткой оперативной памяти или архитектурными особенностями, и почему закрытые модели таких проблем не имеют.

score 40r/LocalLLaMA