Reddit
«Am I OpenAI Compatible»: инструмент и документация для унификации API-сигнатур в open-source ИИ
Автор создал инструмент и документацию, описывающую степень соответствия популярных open-source проектов (vLLM, llama.cpp) стандарту совместимости с API OpenAI. Это поможет разработчикам избежать проблем при интеграции LLM в приложения или создании прокси-серверов.
score 27r/LocalLLaMA