Sabi-Noema: тонкая настройка Qwen 27B с акцентом на эффективность и возможности

Опубликованы две пост-обученные версии модели Qwen 27B — Sabi-Noema и Sabi-Noema-MLA, демонстрирующие улучшенные способности в программировании и агентных задачах при снижении избыточности ответов на 50%. Версия MLA использует конверсию внимания GQA без дополнительного обучения, что позволяет сократить объем KV-кэша в 8,4 раза и значительно увеличить длину контекста на GPU с 24 ГБ памяти.