TKintegers K5: в 3.21 раза быстрее префилла и в 3.10 раза быстрее декодирования по сравнению с TorchAO FP8 на NVIDIA L4

Разработчик представил реализацию сбалансированно-тернарного представления весов K5, которая показала значительно более высокую пропускную способность на GPU NVIDIA L4 по сравнению со стандартным FP8 (TorchAO). Несмотря на отсутствие нативной поддержки K5 в аппаратных тензорных ядрах, использование FP16 для вычислений и FP32 для накопления позволило достичь ускорения в 3.21 раза на этапе префилла и в 3.10 раза на этапе декодирования для модели Qwen2.5-0.5B.