Назад к дайджесту
Reddit

Извлечение MoE-экспертов из Kimi K3

Пользователь Reddit спрашивает, пробовал ли кто-то извлекать экспертов из MoE-моделей Kimi K3 и GLM 5.2 с помощью REAP. Обсуждаются проблемы с загрузкой на железо и идея объединения экспертов в одну большую модель на 104B параметров.

score 40r/LocalLLaMA