tandem.cpp: ускорение MoE-моделей на одном GPU с помощью CPU

Проект tandem.cpp представляет собой патч для llama.cpp, позволяющий запускать модели с экспертами (MoE), не помещающиеся в видеопамять, на потребительских ПК. Решение распределяет вычисления: наиболее активные эксперты остаются на GPU, а остальные обрабатываются CPU, что обеспечивает до 3.3x ускорения декодирования по сравнению со стандартным llama.cpp.