Telperion представила варианты Qwen3.8-27B с латентным вниманием: сжатие KV-кэша в 4 раза и эффективное рассуждение

Команда Telperion выпустила модификации модели Qwen3.8-27B, использующие латентное внимание (MLA и GLA-g2), что позволяет сжать KV-кэш в 4 раза. Это обеспечивает либо увеличение максимального контекста на потребительском оборудовании, либо рост параллелизма на серверах, при этом модель демонстрирует улучшение результатов в SWE-bench на 6,58% и сокращение количества токенов рассуждения более чем на 20%.