Reddit
Обновление int8-vllm: оптимизация Nemotron 3.5 Bolt 74B для старых GPU
Автор доработанного форка vLLM добавил поддержку оптимизаций Nemotron Bolt 74B, включая внедрение fused NVFP4 и IQ2_xxs для int8-деquantизации. Решение позволяет эффективно запускать большие модели на устаревших видеокартах AMD и NVIDIA, сокращая время загрузки и повышая стабильность работы в продакшене.
score 40r/LocalLLaMA