Reddit
Извлечение MoE-экспертов из Kimi K3
Пользователь Reddit спрашивает, пробовал ли кто-то извлекать экспертов из MoE-моделей Kimi K3 и GLM 5.2 с помощью REAP. Обсуждаются проблемы с загрузкой на железо и идея объединения экспертов в одну большую модель на 104B параметров.
score 40r/LocalLLaMA