Почему скорость декодирования токенов так важна для пользователей?

Автор поднимает вопрос о производительности локальных LLM, отмечая, что обработка промпта часто становится узким местом быстрее, чем генерация токенов. Обсуждаются модели Qwen, влияние аппаратных настроек и методов вроде MTP на скорость инференса. Это практический разговор об оптимизации работы нейросетей на потребительском железе.