Reddit
DeepSeek-V4-Flash-0731: тесты unsloth и GGUF на A100
Пользователь протестировал запуск модели DeepSeek-V4-Flash-0731 в формате GGUF с использованием библиотеки unsloth на видеокарте NVIDIA A100. При 40 ГБ VRAM достигнута скорость генерации 16.1 токенов в секунду, при этом часть экспертов вынесена на CPU для экономии памяти. Модель показала стабильную работу в задачах кодинга через агентный цикл.
score 40r/LocalLLaMA