Назад к дайджесту
Reddit

Локальный запуск SOTA-генерации изображений: NVIDIA Cosmos3 (64B) в INT4-квантовании на CUDA/MLX

Пользователь Reddit делится опытом локального запуска модели NVIDIA Cosmos3 (64B параметров) в INT4-квантовании на Apple Silicon (MLX) и CUDA. Приведены ссылки на код и веса, а также сравнение с Grok. На M4 MAX с 128 ГБ памяти генерация одного клипа заняла около 5 минут.

score 55r/LocalLLaMA