Назад к дайджесту
Reddit

Оптимизация выбора экспертов Qwen4exp в llama.cpp без использования kq_mask

Разработчик sanmai внес изменения в код llama.cpp, позволяющие формировать выбор экспертов (QSA) для модели Qwen4exp без применения маски kq_mask. Этот подход, описываемый как часть стратегии Strata, помогает значительно экономить видеопамять (VRAM), оптимизируя кэш экспертов.

score 55r/LocalLLaMA