Agens Volundr 32B: гибридная архитектура с минимальным использованием KV-кэша для длинных контекстов

Команда Blockway представила модель Agens Volundr 32B, использующую гибридную архитектуру, где только 18 из 72 слоев сохраняют KV-кэш, что позволяет эффективно обрабатывать контекст до 262K токенов. Модель демонстрирует высокую скорость декодирования на ограниченных вычислительных ресурсах и превосходит Qwen2.5-32B в задачах по программированию и математике.