omlx: Сервер инференса LLM с непрерывным батчингом и SSD-кэшированием для Apple Silicon, управляемый через меню macOS

Представлен инструмент omlx для запуска LLM на чипах Apple Silicon с поддержкой непрерывного батчинга и кэширования на SSD. Утилита оптимизирует инференс и управляется напрямую из меню macOS, что удобно для локальных развертываний.