Назад к дайджесту
Reddit

Запуск Qwen3.8-27B на нейронном процессоре Apple M6 через ANEMLL Forge 0.2.1

Выпущена версия ANEMLL Forge 0.2.1, позволяющая запускать модель Qwen3.8-27B на нейронном процессоре Apple Neural Engine в устройствах с чипом M6 и 32 ГБ памяти. Обновление поддерживает контекстное окно до 192K токенов, использует INT8-кэш ключей и значений для экономии памяти, а также внедряет оптимизированный механизм драфтинга, снижающий потребление ресурсов без потери скорости генерации.

score 40r/LocalLLaMA