Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro — прогноз до выхода железа

Автор оценивает скорость локального инференса языковых моделей на новых чипах Apple M6, M5 Pro, M5 Max и M5 Ultra, используя правило, выведенное на базе M4. По прогнозу, M6 даёт прирост 25–40% и остаётся с потолком 8B, M5 Pro впервые позволяет комфортно запускать 32B, а M5 Max выводит 70B на скорость около 13 токенов в секунду. Отдельно отмечаются ловушки младших конфигураций с пониженной полосой памяти.