Назад к дайджесту
Reddit

DecisionTune 1.0: локальная модель для классификации опций с задержкой ~10 мс на MLX

Представлена легковесная модель DecisionTune объемом 395 млн параметров на базе ModernBERT, предназначенная для офлайн-выбора из заданных вариантов ответа без генерации текста. Модель работает локально с использованием PyTorch, MLX или ONNX, обеспечивая среднее время принятия решения около 10 мс на Apple Silicon и поддерживая контекст до 8192 токенов.

score 40r/LocalLLaMA