GitHub
mlx-serve: Нативный сервер инференса LLM для Apple Silicon
Это нативный сервер для запуска больших языковых моделей, оптимизированный для чипов Apple Silicon. Проект совместим с API OpenAI и Anthropic, не требует Python и включает приложение MLX Core с поддержкой чата, агентов и вызова инструментов. Решение позволяет эффективно выполнять инференс локально.
210 forksC++score 59.1
apple-siliconmacoslocal-llminferenceagentclaude-codeanthropic-apillmmacos-apptool-calling