Назад к дайджесту
Reddit

Оптимизация контекста: кэширование промптов на 12 часов

Предлагается использовать 12-часовой кэш для общих инструкций в промптах, оставляя 30 минут для актуального контекста диалога. Такой подход позволяет существенно снизить затраты на повторное использование одного и того же контекста в течение дня, окупая дополнительные расходы на кэширование.

score 40r/OpenAI