GitHub
Автонастройка локальных LLM без конфигурации
Новый инструмент позволяет автоматически оптимизировать локальные языковые модели для Ollama, LM Studio и MLX без ручной настройки. Обещает снижение времени до первого токена на 40%, ускорение работы агентов на 46% и уменьшение потребления памяти в 3 раза. Проект решает проблему производительности при запуске LLM на потребительском железе.
241 forksPythonscore 61
pythonapple-siliconkv-cachelocal-aillmlm-studiottftollamamlxinference-optimization