Назад к дайджесту
Reddit

Разобрал все способы поломки JSON локальными моделями и создал библиотеку для ремонта — анализ 288 вызовов

Автор протестировал 288 запросов к различным LLM (Llama 3, Mistral, Qwen и др.) для анализа ошибок в структурированном выводе. Выявлены типичные проблемы: лишние markdown-обёртки, Python-типы вместо JSON, обрезка токенов. На основе этого создана библиотека outputguard с 15 стратегиями автоматического исправления JSON/YAML/TOML.

score 45r/LocalLLaMA