Действительно ли вы тестируете совместимость инференса открытых моделей?

Автор обсуждает проблемы с поведением одних и тех же моделей в разных движках инференса, таких как llama.cpp, vLLM и Ollama, а также при изменении квантования или версий рантайма. Вопрос касается методов обнаружения регрессий и несовместимостей, включая использование документации, ручного тестирования или специализированных инструментов для воспроизводимых проверок.