Reddit
Запуск MiMo-2.5 на двух системах ASUS ROG Strix
Пользователь описывает сложный опыт настройки окружения для запуска LLM на потребительском железе (128 ГБ ОЗУ, GPU) с использованием ROCm и llama.cpp. Он интересуется, возможно ли эффективно использовать vllm или sglang на таком оборудовании для запуска моделей типа DeepSeek.
score 40r/LocalLLaMA