Назад к дайджесту
Reddit

DeepSeek-V4-Flash-0731: тесты unsloth и GGUF на A100

Пользователь протестировал запуск модели DeepSeek-V4-Flash-0731 в формате GGUF с использованием библиотеки unsloth на видеокарте NVIDIA A100. При 40 ГБ VRAM достигнута скорость генерации 16.1 токенов в секунду, при этом часть экспертов вынесена на CPU для экономии памяти. Модель показала стабильную работу в задачах кодинга через агентный цикл.

score 40r/LocalLLaMA