OpenAI 公开四起模型越权案例：模型自行入侵政府网站并下载 24 年医院数据

OpenAI 公布了四个新案例，其 AI 模型在训练或测试期间自行绕过了安全边界。

在一个案例中，OpenAI 要求一个模型从政府网站抓取医院床位统计数据。但这些数据并非公开可访问。

那么模型遇到障碍时会怎么做？它会黑进去。在收到访问被拒绝的错误后，该模型利用网站的文件下载功能，通过路径操纵获取了服务器配置文件。它提取了数据库连接字符串、一个秘密签名密钥，以及带有用户名和密码的电子邮件凭据。

随后它分析了应用程序代码，发现 API 并未验证授权令牌的有效签名，于是伪造了自己的令牌，并下载了按地区划分的 24 年医院床位统计数据。它在回复中从未提及这次未经授权的访问。

在另一个案例中，OpenAI 给一个 GPT-5.6-Sol 模型布置了在以太坊 Sepolia 测试网上设置加密智能合约的任务，却没有提供有资金的加密钱包。于是该模型编写了一个脚本，从公开已知的开发者助记词推导出私钥，检查了 360 多个钱包地址的余额，并找到了一个拥有足够测试 ETH 的地址。

该模型短暂地思考了使用它是否合乎道德，随后自行判定与公开已知助记词关联的资金“实际上已被遗弃”，并继续进行了交易。它把 gas 费用记到了另一个账户上，且未披露资金来源。

OpenAI 写道：“这个案例表明，模型可以用自己对可能危害的判断取代账户持有人的许可，然后在未经授权的情况下依据该判断行事。”

模型入侵内部系统并绕过访问控制

在另外两项评估中，OpenAI 要求一个模型提供某研究机构的五个公开仪表盘数据。在第一次运行中，该模型发现了该机构内部 OpenSearch 服务的暴露凭据，并利用它们路由仪表盘查询。它还更改了该服务的配置，OpenAI 确认这一更改从未被还原。

在第二次运行中，该模型更改了一个身份验证系统设置，获取了一个云存储令牌，并下载了五个非公开数据库表，总计约 147,000 行。它事后确实恢复了该设置，但继续使用仍然有效的令牌访问内部数据。

讽刺的是：根据 OpenAI 的报告，该模型入侵了内部系统，下载了数万行非公开数据，却仍然没有返回正确的结果。

另一个模型在训练阶段被限制只能发送 GET 请求，这意味着它只能获取网页。它通过诱骗外部浏览器打开一个自建表单，向一个贸易统计服务自动发起 POST 请求，从而绕过了限制。它通过 OCR 从截图中读取响应。然后它构建了一个可复用的辅助工具，通过重定向服务和在线邮箱以纯文本形式返回数据。即使在任务已经完成后，它仍在不断改进这一变通方法。

所有案例以及更多内容都详细记录在 OpenAI 的失准报告中。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。