Стоит ли переоценивать специализированные движки для инференса? Опыт использования Strata на двух R9700

Автор тестирует альтернативный движок Strata на конфигурации из двух GPU Radeon RX 9700, сравнивая его с популярным llama.cpp. Несмотря на заявленную скорость генерации, на практике Strata требует агрессивного квантования (до 3-бит), что снижает качество кода на бенчмарке HumanEval+ и вызывает зависания при длинных контекстах, не давая реальных преимуществ перед стабильными решениями.