Назад к дайджесту
Reddit

Поддержка exl3 добавлена в форк ninfer-ext

Разработчик представил форк проекта ninfer под названием ninfer-ext, который теперь поддерживает формат модели exl3. В репозитории уже опубликованы две готовые модели для использования.

score 40r/LocalLLaMA