Назад к дайджесту
GitHub

Запуск GLM-4.5-Air (110B) на 16GB RAM: оптимизация памяти для локальных LLM

Репозиторий содержит проверенные методы размещения и настройки памяти для запуска больших языковых моделей (110B параметров) на потребительском оборудовании с ограниченной RAM. Предоставляет практические рецепты и тесты для преодоления аппаратных ограничений при локальном развёртывании LLM.

283 forksPythonscore 75.9
ggufllama-cppmoequantizationinferencellm