Выжимаем максимум из 5-летнего ноутбука с 6 ГБ VRAM: запуск Qwen3.6-35B-A3B

Автор продемонстрировал возможность запуска модели Qwen3.6-35B-A3B на старом ноутбуке с 6 ГБ видеопамяти благодаря квантованию GGUF и настройкам llama.cpp. Скорость генерации достигла 23 токенов в секунду, что делает модель практически применимой для локальных задач.