Gewell — движок инференса для Gemma 4

Gewell — это движок инференса для Gemma 4 31B, оптимизированный под массовую нагрузку и специфические паттерны. Он использует математически безоперационное сжатие KV-кэша до 0.625x VRAM, что недоступно в vLLM и llama.cpp, а также предлагает улучшенное управление кэшем с явными подсказками и выгрузкой в RAM.