Reddit
Любую LLM можно использовать как JEV
Показан способ применять любую GGUF-модель через llama.cpp для классификации текста (например, спам/не спам) с получением вероятностей. Для этого достаточно ограничить генерацию одним токеном и запросить logprobs, отключив reasoning. Приводится практический пример с llama-server и curl.
score 40r/LocalLLaMA