Назад к дайджесту
Reddit

Любую LLM можно использовать как JEV

Показан способ применять любую GGUF-модель через llama.cpp для классификации текста (например, спам/не спам) с получением вероятностей. Для этого достаточно ограничить генерацию одним токеном и запросить logprobs, отключив reasoning. Приводится практический пример с llama-server и curl.

score 40r/LocalLLaMA