Сервер с 8 GPU V100 за $5400 на eBay демонстрирует высокую скорость работы с моделями через оптимизацию

Пользователь настроил сервер с восемью видеокартами NVIDIA V100, установленными на eBay, для работы с языковыми моделями. С использованием оптимизированного vLLM и формата NVFP4 удалось достичь более 200 токенов в секунду для модели на 27 миллиардов параметров при тензорной параллельности 4.