Назад к дайджесту
Новость

Запуск нейросетей на мини-ПК: лайфхак с выделением памяти для встроенного GPU

Автор описывает метод настройки интегрированной графики мини-компьютеров, позволяющий выделить под GPU почти всю оперативную память. Это решение позволяет запускать крупные языковые модели (LLM) размером 26–27 млрд параметров без использования дискретных видеокарт. В статье приводятся примеры работающих моделей и оценка их эффективности на примере устройства GEEKOM GT1 Mega.