Как реально освоить vLLM: разбор экосистемы и продвинутых функций

Пользователь делится трудностями в понимании архитектуры vLLM, особенно в различии между серверной частью и клиентской библиотекой. Обсуждается практический опыт запуска моделей, включая вопросы квантования и распределения ресурсов GPU, в сравнении с альтернативой llama.cpp.