Распределенный инференс LLM на чипах Apple: объединяем M5 Ultra и M3 Ultra через Thunderbolt 5 для ускорения префилла и декодирования

Автор демонстрирует гибридный подход к запуску модели GLM-5.3-Flash, используя M5 Ultra 256 ГБ для быстрого префилла и M3 Ultra 512 ГБ для декодирования с большим контекстом. Данные передаются между чипами через Thunderbolt 5 RDMA, что позволяет компенсировать нехватку памяти в новых процессорах и ускорить генерацию текста.