Локальные LLM на слабом железе: что ставить, как запустить и чего ждать

Материал посвящён запуску локальных языковых моделей на ограниченном оборудовании с использованием методов квантизации. Автор объясняет, как сжатие весов с 32 до 4 бит снижает потребление памяти с 14 ГБ до 4-5 ГБ для 7-миллиардных моделей. Статья даёт практические рекомендации по выбору софта и настройке окружения для работы с ИИ без мощного GPU.