Назад к дайджесту
Reddit

Локальная решающая голова в стиле Jev поверх Qwen 2.5 1.5B

Автор создал прототип AES — неавторегрессионную модель принятия решений на базе Qwen2.5-1.5B-Instruct. Вместо генерации токенов модель выполняет один проход prefill, извлекает финальное скрытое состояние и вычисляет косинусное сходство с эмбеддингами кандидатов, реализуя примитивы NOUL, CHOICE и SCORE. Обучена на ~3200 примерах из BoolQ, ARC и Yelp за одну эпоху на бесплатных T4 GPU, работает за ~28 мс и хорошо справляется с простыми задачами множественного выбора.

score 40r/LocalLLaMA