Назад к дайджесту
Reddit

Снизьте лимит мощности RTX 5090 до 480Вт — потери производительности при инференсе минимальны

Пользователь протестировал влияние ограничения мощности GPU на скорость работы языковой модели Qwen 27B. Снижение потребления с 600Вт до 480Вт уменьшает скорость генерации лишь на 2%, при этом значительно снижаются шум, нагрев и износ карты. Практическая оптимизация для тех, кто запускает LLM локально в домашних условиях.

score 40r/LocalLLaMA