Назад к дайджесту
Reddit

Существует ли форк Strata для запуска LFM 24B A2B на 16 ГБ ОЗУ?

Пользователь спрашивает о возможности использования форка Strata для комфортного запуска модели LFM 24B A2B с ограничением в 16 ГБ оперативной памяти. Также интересуют ожидаемая производительность в токенах в секунду и рекомендуемый уровень квантования.

score 40r/LocalLLaMA