Запуск Gemma 2 26B на двух RTX 4060 с производительностью 75 токенов в секунду

Пользователь поделился настройкой для запуска модели Gemma 2 26B на двух видеокартах RTX 4060 (8 ГБ каждая) с помощью LM Studio. Достигнута скорость генерации 75 токенов в секунду при использовании квантования и сервера Hermes.