Назад к дайджесту
Reddit

Архитектурный сдвиг в Qwen4-27B: 4-канальный параллельный остаточный поток

В репозитории vllm-xpu-kernels обнаружен PR, раскрывающий значительное архитектурное изменение в модели Qwen4-27B. Вместо одного остаточного пути используется 4 параллельных потока, что улучшает поток информации и плотность представлений при сохранении бюджета в 27 миллиардов параметров. Ожидается, что такая эффективность глубины может привести к существенному скачку в многошаговом рассуждении и генерации кода.

score 40r/LocalLLaMA