Reddit
Предупреждение для пользователей DeepSeek-V4-Flash-0731: не сбивайте кэш промптов системными сообщениями в середине диалога
Пользователи модели DeepSeek-V4-Flash-0731 сталкиваются с потерей эффективности кэширования при использовании системных ролей не в начале диалога. Шаблон чата переносит такие сообщения в начало контекста, что разрушает префиксный кэш и ведет к лишним затратам. Рекомендуется использовать роль latest_reminder, так как она лучше совместима с шаблоном llama.cpp и сохраняет работу кэша.
score 40r/LocalLLaMA