Что если OpenAI внедрит технологию byte-exact KV grafting для резкого снижения стоимости API-токенов?

Исследование описывает метод сохранения проверенных рассуждений в виде дисковых блоков KV, позволяющий сократить использование токенов в 6500 раз и энергопотребление в 8700 раз. Технология направлена на оптимизацию инференса языковых моделей и может кардинально снизить стоимость API-запросов.