Попробовал TypeSafe AI Jev против обычной LLM для маршрутизации моделей — разница в задержке довольно заметна

Автор сравнил модель Jev от TypeSafe AI с обычной LLM в задаче маршрутизации моделей. Jev использует параллельную выборку вместо авторегрессионной генерации, что позволяет принимать решения примерно за 1 секунду, тогда как обычная LLM занимает 4-14 секунд. Это делает Jev перспективным для быстрых решений перед более крупными моделями.