Назад к дайджесту
Reddit

Построил локальный сервер для LLM. Какую модель запустить через llama.cpp на 56 ГБ VRAM? Есть идеи?

Пользователь спрашивает рекомендации по моделям для локального запуска через llama.cpp, учитывая большой объём видеопамяти (56 ГБ). Обсуждение касается практического применения открытых языковых моделей на собственном железе. Тема актуальна для разработчиков, интересующихся инференсом моделей без облачных сервисов.

score 46r/LocalLLaMA