Reddit
Оптимизация контекста: кэширование промптов на 12 часов
Предлагается использовать 12-часовой кэш для общих инструкций в промптах, оставляя 30 минут для актуального контекста диалога. Такой подход позволяет существенно снизить затраты на повторное использование одного и того же контекста в течение дня, окупая дополнительные расходы на кэширование.
score 40r/OpenAI