Новость
Запускаем мощные LLM дома: обзор движка Strata для локального инференса
Статья описывает проблему падения скорости при запуске больших моделей на слабом железе и предлагает решение через движок Strata. Технология позволяет эффективно распределять слои модели между VRAM, RAM и SSD, обеспечивая работу моделей объемом 50+ ГБ с контекстом до 512K на конфигурации с 16 ГБ видеопамяти.