Оптимизация Gemma 2 12B IT QAT для комфортной работы на ноутбуке с RTX 2000 Ada

Автор делится опытом запуска квантованной языковой модели Gemma 2 12B IT QAT (q4_0) на ноутбуке с 8 ГБ видеопамяти. Использование метода обучения с учетом квантования позволило сохранить высокое качество ответов и точность кода, достигнув скорости генерации 12 токенов в секунду без перегрева.