Назад к дайджесту
Reddit

Сравнение квантованной модели DeepSeek-V4.1 от ISTA-DASLab с официальным API

Автор тестирует 2.25bpw квантованную версию модели DeepSeek-V4.1 для локального запуска через Project-maya и сравнивает её с официальным API. В ходе бенчмаркинга на выборке из 100 вопросов выявлены существенные различия в обработке контекста и лимитов токенов, что влияет на итоговые результаты и корректность ответов.

score 40r/LocalLLaMA