Назад к дайджесту
Reddit

Модель strata-swift-iq3_xxs случайно вставляет совершенно нерелевантную информацию в цепочку рассуждений

Пользователь заметил аномалию в поведении модели strata-swift-iq3_xxs при использовании фреймворка Strata: во время выполнения задачи по очистке кода модель начала генерировать исторические биографические данные о Ли Куан Юе прямо внутри своих мыслей (reasoning thoughts). Этот случай демонстрирует проблему с фокусом и изоляцией контекста у квантованных LLM при выполнении сложных многошаговых задач.

score 40r/LocalLLaMA