Назад к дайджесту
GitHub

mlx-serve: Нативный сервер инференса LLM для Apple Silicon

Это нативный сервер для запуска больших языковых моделей, оптимизированный для чипов Apple Silicon. Проект совместим с API OpenAI и Anthropic, не требует Python и включает приложение MLX Core с поддержкой чата, агентов и вызова инструментов. Решение позволяет эффективно выполнять инференс локально.

210 forksC++score 59.1
apple-siliconmacoslocal-llminferenceagentclaude-codeanthropic-apillmmacos-apptool-calling