Inkling-Small 276B: запуск большой MoE-модели на потребительском Mac при 10 ГБ памяти

Инструмент Mference добавил поддержку Inkling-Small 276B-A12B — MoE-модели с 276 млрд параметров (12 млрд активных). Реализация на Swift + Metal обеспечивает ~2.9 токенов/сек на Mac M5 с потреблением памяти менее 10 ГБ, что делает запуск крупных моделей доступным на потребительском железе.