Как увеличить производительность системы с двумя GPU NVIDIA A100 80GB для LLM

Пользователь описывает конфигурацию с двумя GPU A100 и просит совета по оптимизации вывода моделей для многопользовательской среды. Обсуждаются сравнение llama.cpp и vLLM, а также выбор между использованием MoE-моделей и запуском отдельных экземпляров на каждой карте для задач агентного программирования.