Назад к дайджесту
Reddit

LoRA на abliterated Qwen 3.8-27B для работы с внутренней кодовой базой

Автор обучил LoRA-адаптер поверх abliterated Qwen 3.8-27B, чтобы модель запоминала внутренние соглашения по коду (правила миграции, проверки деплоя, обработка секретов), не меняя базовые веса. Обучение заняло около 7,5 часов и потребовало ~80M параметров. На 96 промптах модель показала лучший recall по приватному репозиторию, чем Claude Sonnet 5 и Opus 5, однако прирост над предыдущей версией адаптера не был статистически значимым (p=0.5). Проект экспериментальный и пока не развернут.

score 40r/MachineLearning