Слой памяти может ломать кэш промптов на каждом запросе, и никто вам об этом не скажет

Провайдеры кэшируют префикс промпта, чтобы не переплачивать за обработку каждого запроса, но точное совпадение префикса означает, что любое изменение в начале ломает кэш. Если слой памяти вставляет изменяющиеся данные в системный промпт или ранние сообщения, это приводит к инвалидации кэша на каждом запросе, увеличивая стоимость до 12.5 раз на Anthropic и теряя скидку 90% на OpenAI. Проблема не видна в метриках, поэтому рекомендуется разделять стабильные и изменяемые части промпта, размещая стабильные в начале, а изменяемые — после точки разрыва.