Reddit
Архитектурный сдвиг в Qwen4-27B: 4-канальный параллельный остаточный поток
В репозитории vllm-xpu-kernels обнаружен PR, раскрывающий значительное архитектурное изменение в модели Qwen4-27B. Вместо одного остаточного пути используется 4 параллельных потока, что улучшает поток информации и плотность представлений при сохранении бюджета в 27 миллиардов параметров. Ожидается, что такая эффективность глубины может привести к существенному скачку в многошаговом рассуждении и генерации кода.
score 40r/LocalLLaMA