Назад к дайджесту
Reddit

oMLX 0.7.4: использование быстрого Mac в качестве ускорителя для префиллинга

Выпуск oMLX версии 0.7.4 позволяет использовать устройства Apple Mac в качестве аппаратного ускорителя для этапа префиллинга (prefill) при работе с языковыми моделями. Это решение направлено на оптимизацию производительности и ускорение обработки входных данных за счет распределения вычислений между основным сервером и Mac.

score 40r/LocalLLaMA