Назад к дайджесту
Reddit

Новый DSv4 Flash: цикл повторений в Q8? Llama.cpp с Vulkan

Пользователь сообщает о проблеме с зацикливанием при запуске модели DeepSeek-V4-Flash в квантовании Q8 через llama.cpp с бэкендом Vulkan. Обсуждаются настройки оборудования (две AMD 7900XTX) и параметры запуска для локального инференса LLM.

score 55r/LocalLLaMA