Назад к дайджесту
Reddit

Сравнение производительности Qwen 27B и Flash Next на разных конфигурациях железа

Пользователь обсуждает целесообразность переноса инференса языковых моделей Qwen 27B и Flash Next с потребительской платформы на сервер HPE ProLiant. Рассматривается использование двух видеокарт RTX 5060 Ti с фреймворком vLLM и потенциальное применение Strata для оптимизации работы с контекстом.

score 40r/LocalLLaMA