Reddit
Предложение добавить поддержку MoE на диске для трёхуровневой выгрузки моделей
Пользователь предлагает расширить функционал выгрузки MoE-моделей, добавив флаг --disk-moe по аналогии с существующими --cpu-moe. Это позволит использовать трёхуровневую схему offloading между диском, CPU и GPU для более эффективного запуска больших моделей.
score 40r/LocalLLaMA