Назад к дайджесту
Reddit

Предупреждение для пользователей DeepSeek-V4-Flash-0731: не сбивайте кэш промптов системными сообщениями в середине диалога

Пользователи модели DeepSeek-V4-Flash-0731 сталкиваются с потерей эффективности кэширования при использовании системных ролей не в начале диалога. Шаблон чата переносит такие сообщения в начало контекста, что разрушает префиксный кэш и ведет к лишним затратам. Рекомендуется использовать роль latest_reminder, так как она лучше совместима с шаблоном llama.cpp и сохраняет работу кэша.

score 40r/LocalLLaMA