Сложности в отслеживании новых движков для инференса LLM

Автор обсуждает стремительный рост числа специализированных движков для запуска языковых моделей, таких как Strata, Basalt и Maya, на фоне доминирования llama.cpp. Поднимается вопрос о компромиссе между скоростью работы новых инструментов и качеством генерации, а также о трудностях поддержания актуальных знаний в этой быстро меняющейся сфере.