Форк NInfer: 555k контекст при FP4 на 5090 с YARN, надежным кэшированием KV на хосте, мониторингом, jinja и поддержкой открытых моделей

Автор форка NInfer реализовал 4-битный KV-кэш для Qwen3-27B с кастомным MMA-ядром и поворотом Адамара, что снижает потребление VRAM на 45% без потери качества. Добавлено расширение контекста YaRN до 555k токенов на RTX 5090, а также многоуровневое переиспользование префиксов с безопасным кэшированием на хосте. Форк включает мониторинг, поддержку Jinja и открытых моделей, ориентирован на реальное использование.