DeepSeek-V4-Flash (284B) работает в 5.3 ГБ памяти

Разработчик представил новый движок Mference, позволяющий запускать огромные MoE-модели, такие как DeepSeek-V4-Flash, на устройствах с ограниченной памятью. Технология использует 2-битную квантование и потоковую загрузку экспертов с SSD, достигая пика в 6.8 ГБ при среднем потреблении 5.3 ГБ. Это открывает возможность использования мощных моделей на обычных ноутбуках, например, на Mac M5 Pro.