Назад к дайджесту
GitHub

Xyntetik Runner: детерминированный движок инференса GGUF с поддержкой обучения LoRA

Это однопоточный движок на C для инференса квантованных моделей GGUF, обеспечивающий полную воспроизводимость результатов на уровне байтов. Проект поддерживает вызовы инструментов за пределами лимита токенов, обучение LoRA через развернутые веса и совместим с API OpenAI и Anthropic, работая на CPU, CUDA и Metal.

220 forksCscore 66.8
openai-apitool-callingggufreproducibilityconstrained-decodingagentslocal-llmmixture-of-expertsllmreceipts