Reddit
tandem.cpp v0.3.0: ускорена обработка префаков и добавлена поддержка GGUF от Project Maya для DeepSeek-V4.1
Вышла первая стабильная версия библиотеки tandem.cpp, которая значительно ускоряет обработку длинных промптов за счет использования экспертного кэша и пакетной обработки. Обновление также добавляет поддержку конвертации и запуска моделей в формате GGUF от Project Maya, таких как DeepSeek-V4.1, обеспечивая сопоставимую точность с нативными движками.
score 40r/LocalLLaMA