Назад к дайджесту
Reddit

Deepseek v4 flash: прирост скорости на 100–150 т/с в префилле

Пользователи выявили проблему с производительностью модели Deepseek v4 flash на CUDA 13.3, связанную с функцией DeviceTopK. Для восстановления скорости генерации рекомендуется откатить CUDA до версии 13.1 или использовать специализированный форк. Это решение устраняет задержки и возвращает ожидаемые показатели токенов в секунду.

score 40r/LocalLLaMA