Назад к дайджесту
Reddit

DeepSeek v4 Flash: запуск на 80 ГБ VRAM и 128 ГБ RAM

Пользователь демонстрирует запуск модели DeepSeek-V4-Flash с использованием llama.cpp и unsloth. Описана схема распределения вычислений между тремя видеокартами и оперативной памятью для оптимизации MoE-слоев. Предоставлены конкретные показатели скорости генерации токенов в данной конфигурации.

score 40r/LocalLLaMA