Запуск 26B LLM локально без GPU

Пользователь делится опытом работы с 26-миллиардной моделью Gemma на обычном процессоре i5 без дискретной видеокарты. Система использует 32 ГБ оперативной памяти и показывает высокую скорость инференса. Пример демонстрирует возможности оптимизации для CPU-запуска больших языковых моделей.