Назад к дайджесту
Reddit

Я протестировал четыре видеокарты 3080 на 20 ГБ для генерации кода с Qwen3.6-27B, чтобы вам не пришлось (и это даже лучше, чем четыре 5060 Ti)

Автор провёл бенчмарки генерации кода на модели Qwen3.6-27B с использованием четырёх видеокарт RTX 3080 20 ГБ на платформе Vast AI. Результаты показали 69 токенов в секунду при декодировании с контекстом 256k и MTP, что делает эту конфигурацию выгодным решением для локального запуска LLM. Автор рекомендует материнские платы X99 с достаточным количеством PCIe-линий как бюджетную альтернативу для развёртывания мощных моделей.

score 40r/LocalLLaMA