Reddit
Новый DSv4 Flash: цикл повторений в Q8? Llama.cpp с Vulkan
Пользователь сообщает о проблеме с зацикливанием при запуске модели DeepSeek-V4-Flash в квантовании Q8 через llama.cpp с бэкендом Vulkan. Обсуждаются настройки оборудования (две AMD 7900XTX) и параметры запуска для локального инференса LLM.
score 55r/LocalLLaMA