TokenSpeed: сверхскоростной движок для инференса LLM

TokenSpeed позиционируется как инструмент для инференса языковых моделей с экстремальной производительностью. Проект размещён на GitHub и направлен на оптимизацию генерации токенов в реальном времени.