Kimi Linear 48B A3B: тестирование MoE-модели с 1M контекстом

Пользователь тестирует MoE-модель с 48 млрд параметров и контекстом 1 млн токенов, отмечая высокую скорость работы. Отмечены проблемы с минимизацией вывода и обсуждается потенциал дообучения для улучшения качества генерации.