Назад к дайджесту
Новость

Запускаем мощные LLM дома: обзор движка Strata для локального инференса

Статья описывает проблему падения скорости при запуске больших моделей на слабом железе и предлагает решение через движок Strata. Технология позволяет эффективно распределять слои модели между VRAM, RAM и SSD, обеспечивая работу моделей объемом 50+ ГБ с контекстом до 512K на конфигурации с 16 ГБ видеопамяти.