Назад к дайджесту
Reddit

Обновление int8-vllm: оптимизация Nemotron 3.5 Bolt 74B для старых GPU

Автор доработанного форка vLLM добавил поддержку оптимизаций Nemotron Bolt 74B, включая внедрение fused NVFP4 и IQ2_xxs для int8-деquantизации. Решение позволяет эффективно запускать большие модели на устаревших видеокартах AMD и NVIDIA, сокращая время загрузки и повышая стабильность работы в продакшене.

score 40r/LocalLLaMA