Назад к дайджесту
Reddit

Создана открытая модель для Jev с RLCD, превосходящая все бенчмарки Jev

Разработана модель Laya (421M параметров) — неавторегрессионная decision-модель, сочетающая bidirectional ModernBERT-large encoder с Transformer head для оценки [MASK] опций. Обучена на одном RTX 6000 Pro (96 ГБ VRAM) на корпусе из 25 000+ человеческих аннотаций. Использует RLCD (policy-gradient reinforcement learning) для оптимизации вероятностных оценок. Модель превосходит все бенчмарки Jev и доступна на Hugging Face и GitHub.

score 55r/LocalLLaMA