OpenAI 20 октября 2026 года включила в API 12-часовое кэширование промптов: в Responses API появился параметр prompt_cache_options.ttl = 12h, продлевающий жизнь кэша общего префикса запроса с 30 минут до 12 часов. Для залогиненных пользователей Codex и ChatGPT Work кэш стал «вечным»: возобновление старой сессии больше не теряет кэш. Для агентов, которые дёргают модель раз в час и реже, экономия достигает ~75% затрат на входные токены.

image
image

Что произошло

20 октября 2026 года OpenAI задокументировала в официальном API Changelog новую опцию: в Responses API можно задать prompt_cache_options.ttl = 12h, и общий префикс запроса — системные инструкции, описания инструментов, статичный контекст — будет кэшироваться до 12 часов вместо стандартных 30 минут. Запись в 12-часовой кэш оплачивается по 2.5x входной цены токенов против 1.25x у 30-минутного кэша, а чтение из кэша стоит 0.1x входной цены; для GPT-6.1 Sol запись обходится в $5.00 за 1M токенов против $2.00 за обычный input. Опция работает только в Responses API и только на моделях GPT-5.6 и новее. Одновременно Тибо Сотто, сотрудник OpenAI, сообщил, что для залогиненных пользователей Codex и ChatGPT Work кэш теперь «хранится навсегда»: возвращение к старому диалогу или возобновление сессии через несколько часов гарантированно попадает в кэш без штрафа.

Контекст

Кэширование промптов — не новая технология: модель переиспользует вычисления для общего префикса запроса, поэтому провайдер берёт надбавку за запись кэша и радикально снижает цену повторного чтения. До этого обновления у OpenAI кэш жил 30 минут, что нормально для интерактивных чатов, но ломало экономику агентов, работающих по расписанию: если вызовы случались реже, чем раз в полчаса, кэш истекал, а большой статичный префикс пересчитывался по полной входной цене при каждом холодном старте. Именно сочетание длинного неизменного префикса и редких, но регулярных вызовов отличает долгоживущих агентов от диалоговых сценариев — и именно оно оставалось самым дорогим профилем нагрузки до появления длинного TTL.

Почему это важно для индустрии

OpenAI напрямую удешевляет долгоживущих агентов. Расчёт CellCog для агента с префиксом 100k токенов, вызываемого раз в час на GPT-6.1 Sol: $0.61 в день вместо $2.40. Это конкурентный ход в гонке цен за агентные workload'ы: Anthropic и Google оказались под давлением ответить продлением TTL собственных кэшей, а раздельное write/read-ценообразование кэша рискует стать де-факто стандартом у всех крупных провайдеров. Следом придётся перестраивать инфраструктуру: cost-дашборды и observability-инструменты должны разделять расходы на запись и чтение кэша, а конфигурация кэширования — стать стандартной частью LLM-оркестраторов как абстракция над провайдерами.

Почему это важно для пользователей

Разработчикам на Responses API достаточно задать prompt_cache_options.ttl = 12h — или ttl: 12h на конкретном cache breakpoint; опция доступна на моделях GPT-5.6 и новее. Экономия начинается примерно с третьего использования одного префикса за 12 часов: из-за премиума 2.5x за запись разовые вызовы с большими интервалами длинный кэш может сделать дороже отсутствия кэша. Перевод уже живого 30-минутного кэша на 12-часовой тариф оплачивается как полная новая запись. Пользователям Codex и ChatGPT Work ничего настраивать не нужно: старые диалоги возобновляются мгновенно и без доплаты за повторный прогон контекста.

Что пока неизвестно / ограничения

Заявление о «вечном» кэше пока опирается на один пост сотрудника OpenAI: реализация не раскрыта, нет метрик hit rate, условий инвалидации и объяснения, как обеспечиваются гарантированные попадания при неограниченном TTL — технически это подразумевает либо большое постоянное хранилище KV-кэша, либо агрессивный prefix-matching, но стоимость и лимиты объёма не названы. Расчёт CellCog корректен как арифметика при заданных ценах, но это модель при идеальном hit rate, а не измеренный бенчмарк: независимого воспроизведения на реальных агентных траекториях пока нет.

Источники

Автор

Look at AI, редакция