Исследование малых LLM как классификаторов для конкуренции с Jev (делюсь находками)

Автор создал Python-утилиту, использующую малую языковую модель Gemma4 e2b для классификации состояний и вопросов по кандидатам. Метод основан на сравнении logit-вероятностей, что позволяет получать ответы менее чем за секунду. Однако модель оказалась чрезмерно уверенной, и для получения реалистичной неопределённости потребовалось повысить температуру до 10 и применить калибровку с нулевым кандидатом.