Reddit
Оптимизация выбора экспертов Qwen4exp в llama.cpp без использования kq_mask
Разработчик sanmai внес изменения в код llama.cpp, позволяющие формировать выбор экспертов (QSA) для модели Qwen4exp без применения маски kq_mask. Этот подход, описываемый как часть стратегии Strata, помогает значительно экономить видеопамять (VRAM), оптимизируя кэш экспертов.
score 55r/LocalLLaMA