Выбор оборудования для моделей на 27–31 млрд параметров

Автор анализирует конфигурации GPU для локального запуска LLM объёмом 27–31 млрд параметров. Сравнивается эффективность связки двух карт по 16 ГБ против одной на 32 ГБ с учётом стоимости и поддержки в llama.cpp/vllm. Обсуждение актуально для энтузиастов, занимающихся инференсом открытых моделей на потребительском железе.