Назад к дайджесту
Reddit

DeepSeek-V4-Flash: 11 токенов в секунду на гибридной системе AMD GPU

Пользователь протестировал работу квантованной модели DeepSeek-V4-Flash (UD-IQ3_XXS) на гибридной конфигурации AMD GPU (7900 XTX + 3x MI60). Скорость генерации составила около 11 токенов в секунду, при обработке промпта достигая 140 t/s. Тест демонстрирует возможности использования устаревших MI60 в связке с современными картами для локального запуска LLM.

score 40r/LocalLLaMA