AWS 介绍 Bedrock 上 OpenAI 模型的提示缓存

AWS 发布教程，介绍在 Amazon Bedrock 上调用 OpenAI 模型时使用提示词缓存：智能体可复用已处理的输入前缀，避免每轮重复计费。测试中约 4,000 token 的工具与指令前缀首次写入为 4,120 token，后续请求直接读取该缓存。 缓存分隐式与显式两种，显式模式通过 prompt_cache_breakpoint 标记复用边界，可跨会话和子智能体共享工具与指令。据 AWS 说明，可复用前缀需达到 1,024 token；缓存最短存活 30 分钟，成功复用会刷新，也可能更久；复用需同一模型、AWS 账户和区域，且存在匹配前缀；缓存写入按正常输入费率的 1.25 倍计费。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。