Назад к дайджесту
Reddit

Разблокировка производительности RTX: как NVIDIA ограничивает потребительские видеокарты для задач ИИ

NVIDIA намеренно снижает производительность операций FP32-аккумуляции (GEMM) в потребительских видеокартах серий RTX 20, 30, 40 и 50 для сегментации рынка. Это замедляет обучение моделей, диффузию и префиллинг LLM по сравнению с профессиональными и датацентрскими решениями. Статья перечисляет поколения архитектур и конкретные типы вычислений (FP16, BF16, FP8), которые подвержены ограничениям.

score 40r/LocalLLaMA