Модель Qwen3-0.6B конвертирована в архитектуру MoE

Автор проекта представил конвертацию модели Qwen3-0.6B в формат Mixture of Experts (MoE) с сохранением совместимости GGUF. В процессе работы решалась проблема отсутствия общего эксперта в архитектуре Qwen3 путем внедрения псевдо-общего эксперта для стабилизации качества генерации.