Reddit
TensorSharp: поддержка MiniMax-M3.1-Flash с ускорением на 8 GPU A40
Разработчик TensorSharp представил поддержку модели MiniMax-M3.1-Flash с первого дня релиза, обеспечив работу с GGUF, визуальными данными и вызовом инструментов. Бенчмарки на кластере из 8 NVIDIA A40 показали значительное превосходство TensorSharp над llama.cpp в скорости префилла длинных промптов (до 2567 токенов/с против 262).
score 40r/LocalLLaMA