Reddit
DeepSeek v4 Flash для DS4 (DwarfStar): GGUF-версия с DSpark MTP Head
Разработчик подготовил квантованную версию модели DeepSeek v4 Flash для специализированного движка инференса DS4 (DwarfStar), обеспечив скорость генерации около 30 токенов в секунду на чипе M5 Max. Головка DSpark MTP выделена в отдельный файл GGUF, а автор ищет тестировщиков для оценки производительности на CUDA, ROCm и Metal. В планах — расширение линейки квантований и внедрение векторов управления поведением модели.
score 40r/LocalLLaMA