Новость
Реальная стоимость запроса к LLM: формулы, кэш промптов и влияние длины контекста
Статья разбирает расхождения между ожидаемой и фактической стоимостью вызовов языковых моделей, объясняя скрытые факторы ценообразования. Автор анализирует влияние кэширования промптов, токенов рассуждения (reasoning) и длины входного контекста на итоговый счёт.