Назад к дайджесту
Reddit

MindControl — форк llama.cpp для управления процессом рассуждений через инъекцию во время сэмплирования

Проект представляет собой модификацию llama.cpp, которая внедряет управляющие подсказки во время генерации ответа модели. Система отслеживает теги <think> и автоматически вставляет инструкции о бюджете токенов для рассуждений, предотвращая бесконечные циклы и улучшая качество вывода небольших локальных моделей. Реализация доступна как публичный репозиторий и Docker-образ для AMD64 + CUDA.

score 55r/LocalLLaMA