Назад к дайджесту
Reddit

Наконец-то запустил Qwen 3.8 27B Q4_K_M: 40 ток/с, контекст 240k для агентного кодинга на 7900 XTX

Пользователь сообщает о стабильном запуске локальной модели Qwen 3.8 27B с квантованием Q4_K_M на видеокарте 7900 XTX, достигнув скорости 40 токенов/с и контекста 240k. Он также создал панель LexiPanel для управления инференс-серверами, сгенерированную с помощью этой же модели, и использует агента Hermes для постановки задач. Vision-часть вынесена на вторую GPU (2060).

score 40r/LocalLLaMA