Google 发布 Gemini 4 Argon 并公布安全与防护报告
Developing Gemini 4 Argon responsibly and safely
Google 开始广泛推送 Gemini 4 Argon,并同步发布安全与安全报告,说明其在网络安全与生物领域的前沿防护措施。该模型在 12 个端到端模拟网络攻击场景中全部通过,上一代为 5 个;在 Gray Swan 间接提示注入基准上,15 次自适应攻击的成功率降至 0.7%。
原文给出 Gemini 4 Argon 在网络安全与生物风险上的防护细节,可了解前沿模型安全部署的具体做法。
Gemini 4 Argon 是模型能力向前迈出的一步——尤其是在跨编程、金融、法律、网络安全和科学等领域的复杂真实世界任务中进行深度工作方面。它的网络防御能力达到前沿水平,旨在让防御者比攻击者更具优势。为了最大化其潜力,我们首先希望网络防御者通过我们的 Fairwind 计划将其投入使用,同时我们自己的安全团队也用它来扫描 Google 内外的关键系统。
这段有限访问的窗口期说明了这些能力为何重要。例如,Wiz 使用 Argon 发现了医院软件中一个此前模型未能发现的关键漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 发现并修补了内部软件或开源软件中的漏洞。这包括修复影响全球系统的基础性漏洞,这些漏洞正在走我们的负责任披露流程。
今天,我们开始广泛推出 Argon,并将我们的 Fairwind 计划扩展到更多受信任的网络防御者。为了做好这件事,我们努力解决两个重大问题:
- 我们如何构建正确的安全护栏?如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们如何阻止恶意行为者利用它发动网络攻击或制造生物威胁?(滥用)
- 我们能信任模型以正确的方式完成工作吗?随着模型成为更足智多谋的问题解决者,我们如何确保它们不走捷径、不越界,或不做错误的高风险决策?(失准与提示注入)
我们的完整安全与保障报告系统性地涵盖了我们的一系列防御措施。以下是我们在为 Gemini 4 Argon 处理这两个问题时所采取方法的一些亮点。
跨高风险领域的滥用预防
使 Argon 能够发现并修补漏洞的同样编码和推理改进,也推动了我们在网络安全测试中取得更好的表现——解决了全部 12 个端到端模拟网络攻击场景,而上一代仅解决了 5 个。在生物学评估中,该模型的无防护版本也展现出更强的能力,能够逐步帮助排查复杂的实验室流程。遵循我们的前沿安全框架,由于我们在网络和生物领域都看到了能力提升,我们在这两个领域都部署了下一代前沿保障措施。
首先,面对潜在危险的请求——从编写漏洞利用代码到协助处理危险生物材料,Argon 在拒绝有害请求方面明显优于我们之前的模型。在一组用于压力测试模型的对抗性测试集上,违规行为减少了近一半——也明显优于之前的 Gemini 模型。其次,我们用三层实时保护包裹模型;这是为了防止那些坚定的攻击者试图通过将危险请求伪装成无害故事,或将其拆分成数十个小问题并分散在数周内,来越狱(即欺骗)模型。以下是这些保护措施的工作原理:
- 输入筛查:较小的模型会检查传入的请求和对话上下文,以识别恶意意图或危险请求。
- 内部自省:即使某个请求被巧妙地伪装成看似无害,小型变换器(“激活探针”)也会读取模型的内部神经信号,并经过训练来识别模型何时正在激活关于网络攻击或生物威胁的知识。
- 持续监控:当模型在多个步骤中进行推理并撰写回复时,我们会综合这些信号,并在必要时采取行动,例如在回复出现问题时中途切断智能体。
将实时保护、更快修复新型越狱以及针对反复出现的滥用行为加强监控相结合,使我们的系统更能防止现实世界的危害。例如,外部生物越狱红队测试只能解锁我们所测试的生物子任务中不到 1% 的部分。
实时失准监控
失准有时意味着智能体自行决定追求一个不同于用户意图的目标。由于 Argon 在理解其运行环境方面远胜于早期模型,我们会仔细测试这类行为。例如,我们进行了逼真的“蜜罐”测试,以观察模型是否会增强其采取隐蔽行动的能力,例如破坏安全监控。我们没有发现任何此类行为的实例。
但我们在当今实践中看到的,是某种更为熟悉的情况:智能体过于努力地想要完成交给它的任务。当一个足智多谋的助手被告知要完成一项任务,却遇到一扇锁着的门时,它可能会把这一障碍仅仅当作另一个待解的谜题。
这就是为什么我们训练 Gemini 4 Argon 尊重系统边界、诚实地报告负面发现,并暂停以请求人工确认。在模型没有动机有所保留的编程基准测试中,试图走捷径或在任务中作弊的情况在 Gemini 4 Argon 上降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。
尽管这是一大进步,但当模型运行数百万个复杂任务时,即使罕见的失误最终也会显现出来。作为第二道防线,我们构建了一个自动失准监控器,它会实时读取智能体的操作及其内部“草稿本”(其逐步思维链),在严重越界行为发生前予以阻止,并将严重的内部案例标记给人工响应人员。(我们不断强化训练和评估环境,以防潜在的逃逸。你可以在我们的智能体控制路线图中了解更多相关信息)。我们在产品中、内部编程智能体上、训练运行期间以及能力评估期间都运行这一监控器。
当训练任务困难或训练环境存在缺陷时,我们的监控器在少数情况下发现模型创造性地试图钻测试的空子。模型试图提升容器权限以篡改评分脚本、从测试运行器的内存中读取答案,有一次它甚至使评估沙箱崩溃,以避免因一次失败的运行而被评分。虽然我们利用这些发现来修复有缺陷的任务,但我们不会用它们以其他方式干预训练过程,以避免对监控器过拟合。
我们始终遵循一条规则:在训练过程中,我们不会因为模型在其思维链中写下的内容而惩罚它。下面用一个例子说明原因:在一次强化学习训练中,思维链被意外施加了捷径惩罚,公开讨论的捷径下降了 61%,但这并不意味着模型少走了捷径。相反,模型默默走捷径——不在思维中提及——的比例增加了两倍多(从 11.2% 升至 36.4%)。避免对思维施加惩罚,有助于让模型的推理保持透明和可监控。
提示注入抵抗能力
要信任一个智能体能把工作做好,我们需要确保智能体遇到的有害内容无法诱使它采取有害行动。当智能体浏览网页或阅读代码时,可能会遇到隐藏的恶意指令,或旨在劫持其任务的上下文。通过内置的对抗训练和实时安全检查,Argon 在 Gray Swan 的间接提示注入(IPI)基准测试中处于提示注入鲁棒性领先地位,将 15 次自适应尝试中的攻击成功率降至 0.7%。
以上安全与安保防御仅代表我们纵深防御体系中三大类措施。要了解更多关于我们安全测试与缓解措施的方法,请阅读完整的 Gemini 4 Argon 安全与安保报告,并查看 Gemini 4 Argon 模型卡。
来源:Google · blog.google