Helldez/BigMoeOnEdge: Запуск 120B MoE на смартфоне

Разработчик Helldez представил возможность запуска 120-миллиардной модели с архитектурой MoE на смартфоне с 12 ГБ оперативной памяти. Решение работает исключительно на CPU без GPU и использует оптимизированный llama.cpp с сохранением точности. Это демонстрирует прорыв в эффективности развертывания больших языковых моделей на мобильных устройствах.