Ornith-397B в квантовании Q4 на одной RTX PRO 6000 Blackwell 96GB: 2354 ток/с префилл и ~20–24 ток/с декод

Разработчик представил кастомный рантайм Krasis для запуска 397-миллиардной MoE-модели Ornith на одной видеокарте RTX PRO 6000 Blackwell с 96 ГБ памяти. Система динамически выгружает экспертов в системную RAM, обеспечивая около 20 токенов в секунду на декодирование. Это демонстрирует возможность интерактивного использования сверхбольших моделей на ограниченном оборудовании с помощью агрессивного квантования и оптимизации.