Reddit
Наконец-то запустил Qwen 3.8 27B Q4_K_M: 40 ток/с, контекст 240k для агентного кодинга на 7900 XTX
Пользователь сообщает о стабильном запуске локальной модели Qwen 3.8 27B с квантованием Q4_K_M на видеокарте 7900 XTX, достигнув скорости 40 токенов/с и контекста 240k. Он также создал панель LexiPanel для управления инференс-серверами, сгенерированную с помощью этой же модели, и использует агента Hermes для постановки задач. Vision-часть вынесена на вторую GPU (2060).
score 40r/LocalLLaMA