Назад к дайджесту
Reddit

Cactus Hybrid: Мы научили Gemma 4 определять, когда она ошибается

Команда Cactus разработала метод пост-обучения небольшой модели Gemma 4, позволяющий ей оценивать уверенность в ответах через анализ скрытых состояний. Гибридная система маршрутизирует только 15–35% запросов в облако, сохраняя качество на уровне Gemini 3.1 Flash-Lite при значительной экономии ресурсов. Веса модели и код доступны на HuggingFace с лицензией MIT для интеграции в Llama.cpp и другие фреймворки.

score 40r/LocalLLaMA