Reddit
oMLX 0.7.4: использование быстрого Mac в качестве ускорителя для префиллинга
Выпуск oMLX версии 0.7.4 позволяет использовать устройства Apple Mac в качестве аппаратного ускорителя для этапа префиллинга (prefill) при работе с языковыми моделями. Это решение направлено на оптимизацию производительности и ускорение обработки входных данных за счет распределения вычислений между основным сервером и Mac.
score 40r/LocalLLaMA