Abliteration во время инференса: удаление нежелательных знаний из LLM без дообучения

Представлен форк llama.cpp под названием AbliteratedOutTheBox, позволяющий выполнять abliteration (удаление специфических знаний или паттернов) из языковых моделей непосредственно во время инференса. Метод не требует дообучения модели, создания дополнительных файлов весов или увеличения потребления видеопамяти.