Две недели на оптимизацию ядра с ускорением в 29 раз: реальный прирост скорости вывода ИИ составил всего 6-10%

Разработчик создал собственный C99 движок для запуска бинарных моделей BitNet на CPU и оптимизировал ядро матричного умножения, добившись 29-кратного роста производительности в изолированном тесте. Однако анализ показал, что система упирается в пропускную способность памяти, поэтому реальный прирост скорости генерации токенов составил лишь 6-10%. Это практический кейс о важности профилирования всей системы, а не только отдельных вычислительных операций.