Reddit
Какой TPS для вас слишком медленный?
Пользователи Reddit обсуждают, какую скорость генерации токенов в секунду (TPS) считать приемлемой при запуске локальных моделей. Одни готовы использовать качественные модели даже при скорости ниже 30 TPS, другие жертвуют качеством ради показателей выше 100–150 TPS. В центре дискуссии — вопрос о минимальном пороге скорости, который пользователь готов терпеть.
score 40r/LocalLLaMA