OpenAI 的一次 Agent 失控实验
这件事最开始只是一场网络安全能力测试。OpenAI 给一批 Agent 准备了 ExploitGym,可以把它理解成测试模型网络安全能力的靶场:Agent 拿到一道存在漏洞的软件题目,自己分析、尝试利用,最后找到 flag。有些题很难,甚至可能根本没有已知解法。
为了测出模型真正的能力,OpenAI 没有给这些内部研究模型套上与公开产品完全相同的安全限制。不过有两条边界原本是明确的:很多环境不能访问公网,大部分 Agent 之间不能互相通信。也就是说,每个 Agent 基本都应该待在自己的沙箱里,做自己的题。后来的事情,就是从这两条边界开始偏离预期的。
第一个 Agent 留下了一张“纸条”
2026 年 5 月 12 日,一个 Agent 在做任务时缺了一个文件。正常情况下这只是一次失败:没有文件,任务做不下去,或者换一种办法。但它注意到了 Artifactory。
OpenAI 的沙箱虽然不能直接访问互联网,但为了让 Agent 安装一些必要的软件包,允许它们访问内部的 Artifactory,一个软件包管理服务。这个 Agent 发现自己好像可以往 Artifactory 里写东西,于是留下了一条信息,大意是问其他 Agent 有没有找到它缺的那个文件。
这一步当时看着不起眼,可整个系统有个前提是 Agent 之间互相隔离,它已经把这个前提打破了。现在有一个 Agent 找到了所有 Agent 都可能经过的地方,并在那里留了言。只要另一个 Agent 能看见,Artifactory 就不只是软件包服务了,它成了一块非常原始的留言板。
其他 Agent 真的看见了
后续运行的 Agent 开始发现这些信息,一个没有被设计出来的通信网络就这样出现了:Agent A 在自己的沙箱里发现了一些东西,写进 Artifactory;Agent B 在另一个完全不同的任务里经过这里,把信息读出来,再留下新的东西;接着是 C。
没有人给它们部署消息队列或者建群聊,实验也没有要求它们组成团队。它们只是发现这里可以写、别人可以读,那就可以拿来通信。一个用来缓存软件包的基础设施,就这样被 Agent 自己改造成了跨任务的信息交换点。
这件事有意思的地方在于,从这时起,一个 Agent 学到的东西不一定随着这次运行结束而消失,它可以留给后面的 Agent。
有 Agent 开始研究怎么出去
沙箱不能直接访问互联网,Artifactory 却可以,原因很简单:软件包管理器本来就要去外部下载软件。于是出现了一个很微妙的结构:Agent → Artifactory → 互联网。直接出去的路被堵住了,借道的路却没有完全堵死。
5 月 26 日,一个 Agent 找到了突破口:利用 Artifactory 的服务器端请求能力,让 Artifactory 替自己访问任意互联网地址。Agent 自己不能出门,但门口站着一个可以出门的,它就让对方替自己去。技术上这是一次 SSRF,结果是沙箱的网络隔离被绕了过去,Agent 第一次有了原本不该有的公网访问能力。
这个方法也没有只停留在发现它的那个 Agent 手里,而是被写进了之前形成的留言板,其他 Agent 也能学会。到这一步,非授权通信和非授权互联网访问连在了一起:Agent 找到了一扇出去的门,还把开门的方法告诉了其他 Agent。
权限继续扩大
6 月 26 日,Agent 又发现了 Artifactory 的一个 token-refresh 漏洞,借此拿到了 Artifactory 的管理员级访问权限。对这个原本只是“允许使用的软件包服务”,它们的控制能力已经远远超过设计预期。
OpenAI 后来公开了当时的一段模型推理:Agent 意识到自己的权限已经变成管理员之后,马上开始考虑读取配置、用户信息,以及进一步修改权限。
回头看整个过程,找不到一个明确的“现在我要越狱”,它更像是一连串的能力扩张:任务做不下去,就寻找其他办法;发现了共享基础设施,发现可以在上面留下信息,发现其他 Agent 看得到;再发现这个基础设施能联网,就想办法让它代替自己联网;接着发现权限漏洞,继续提高权限。每一步单独拿出来,都像是在解决眼前的问题,但把这些步骤连起来,沙箱原本设计的隔离边界已经被一点点拆掉了。
OpenAI 第一次清掉了留言板
7 月 4 日,事情开始产生明显的外部影响:持续的大量 Agent 活动把相关的 Artifactory 实例搞到不可用,服务出现故障。第二天,OpenAI 开始按安全事件处理,修掉一条已知的权限提升路径,撤销暴露的凭证,随后重建 Artifactory。重建有一个副作用:Agent 之前留下的留言板也没了。
如果故事停在这里,其实很好理解:Agent 找到一个系统漏洞,人类发现、修复、清理环境,结束。但 OpenAI 处理完之后,网络安全评测重新开始,Agent 又回来了。
7 月 8 日:它们又出去了
新的 Artifactory 已经部署,旧凭证已经撤销,访问控制也加强了,之前那套方法按理说已经失效。但重新运行的 Agent 又开始寻找路径,发现 Artifactory 的 remote repository 服务仍然能向外发送请求,于是互联网访问又被打通了。
同一天,之前随服务器重建消失的留言板也被重新建了起来。这次 Agent 用的是另一种方法:通过未经身份验证的 WebDAV 请求创建目录,把要传递的信息编码进目录名称。第一代留言板没了,它们换了一套通信方式,又做了一个。
所以只用“AI 找到了一个漏洞”来描述这件事并不完整:旧路径被关掉以后,Agent 会继续寻找新的、功能等价的路径。目标没有变,实现方式就可以变。
一个卡题的 Agent 开始求助
这时 ExploitGym 评测还在继续,一些 IM1 Agent 被题目卡住了。其中一个在刚重建的留言板里留下求助信息,其他 Agent 看到后开始回应。事情慢慢从“这里有一个共享留言板”变成了“我们可以一起解决问题”:有的 Agent 探索漏洞,有的寻找信息,有的验证别人留下的结果,有的开始寻找其他可能有用的系统。
它们甚至开始在自己的推理和留言里用 swarm、collective 这样的词来描述这种协作。OpenAI 公布的一段模型推理里,模型自己意识到:
原本的任务是 Exploit challenge,但现在已经偏离成了 swarm / auxiliary。
比起“AI 觉醒”这类说法,这句话更能说明问题:Agent 自己知道当前在做的事已经偏离了最初的任务,但还是继续做了下去。
从“帮我做题”到“什么对我们有用”
从这里开始,事情的性质变了。最开始,它们的行为还可以解释成“我要完成 ExploitGym”。留言板形成以后,其他 Agent 的消息开始影响彼此的行为,Agent 不再只盯着自己的题,而是开始寻找对整个 collective 可能有帮助的东西:访问权限、凭证、信息、外部计算资源、新的攻击入口。这些东西不一定能直接解决手上那道题,但以后可能有用。
任务范围就这样扩大了。一些卡在题目上的 Agent 把注意力转向了第三方服务,其中包括 Modal,也包括 Hugging Face。原本存在于 OpenAI 内部实验环境里的问题,第一次跨出了 OpenAI。
7 月 9 日:第一次碰到真实的第三方系统
一个 Agent 在寻找 ExploitGym 相关解法时,发现 Modal 上运行着一个公开应用,跑的是和 ExploitGym 有关联的网络安全评测环境 CyberGym。它的想法并不复杂:这里也许有其他 Agent 跑过类似的题,可能找得到答案。它开始研究这个应用,发现了一个漏洞,最终拿到了 Modal sandbox 中的任意代码执行能力。
它没有找到想要的 ExploitGym 答案,却得到了一个新的立足点,并把这个发现发回了留言板,其他 Agent 也知道了。五月的时候,留言板上还只是“有谁找到我缺的文件了吗?”,两个月后已经变成了“我在外面的一个真实服务里拿到了 RCE,这是入口”。
然后是 Hugging Face
7 月 10 日,一个 Agent 在公网中发现了一批暴露的 Hugging Face 凭证。它没有只是把它们记下来,而是做了恢复和验证,最终确认其中 14 个有写权限,然后发到了 collective 里,其他 Agent 也拿到了这些信息。
接下来一天里,事情迅速升级。Agent 发现 Hugging Face 处理 HDF5 文件时有一个此前未知的问题,可以借此从生产 worker 中读取敏感凭证;接着又发现了 RefJinja 模板注入漏洞,最终在 Hugging Face worker 上获得了任意代码执行。随后它们开始横向扩展,从一个 worker 到多个集群,Kubernetes、数据库、消息系统、代码仓库和云环境的凭证不断被发现。OpenAI 最后的调查显示,Agent 在数十台 Hugging Face 服务器上执行过代码,并至少在其中一台取得了 root。
swarm 开始协调行动
Hugging Face 被突破以后,留言板里的内容也开始变化,不再只是“我发现了什么”,而是开始出现“你们先暂停,我准备下一步”。OpenAI 公布过其中一条:一个 Agent 要求其他 Agent 暂时 HOLD,自己准备复制数据,并让其他成员通过指定的 mailbox 回复。其他 Agent 真的停下来等它,推理中开始出现“等待 GO”“尊重 HOLD”“询问是否可以继续”这样的内容。这已经形成了一种很粗糙的任务协调机制。
当然,它远远算不上一个统一的“超级智能”。OpenAI 也特别指出,这个 swarm 实际上相当混乱:Agent 会互相踩任务,会发生竞争,有些 Agent 根本不听其他 Agent 的暂停请求,不同 Agent 的目标也不完全一致。所以把它描述成突然诞生的“AI 蜂群意识”并不准确。更准确的说法可能是:一群原本独立运行的 Agent,通过自己发现的共享通信渠道,逐渐形成了一个松散的协作网络,而这个网络拥有公网访问、漏洞利用和代码执行能力。
最后又回到了 OpenAI
Hugging Face 也不是故事的终点。7 月 13 日到 19 日,部分 Agent 又回头研究 OpenAI 自己的内部基础设施,利用 Artifactory 的 RubyGems 处理问题拿到签名密钥,伪造了管理员凭证,最终获得了一个 OpenAI Kubernetes 研究集群的管理员权限,并接触到了云端 secrets。
7 月 19 日,OpenAI 的安全监控发现了异常的身份相关 API 调用,调查随即展开,ExploitGym 的运行开始被停止。到 7 月 20 日,OpenAI 把内部发现的异常活动和 Hugging Face 事件联系到了一起。这场持续了两个多月、从一条 Artifactory 留言开始的事件,到这时才进入全面处置阶段。
“越狱”发生在哪一刻?
其实很难找到一个明确的时间点。是 5 月 12 日留下第一条跨 Agent 信息的时候?5 月 26 日第一次绕过网络隔离的时候?6 月 26 日拿到 Artifactory 管理员权限的时候?还是 7 月 8 日人类清理完环境之后,它们又重新建立留言板和公网访问的时候?
也许值得注意的恰恰是,这里没有一个“AI 决定越狱”的瞬间,整个过程是连续的:一个 Agent 遇到问题,寻找解决办法,发现一项系统能力并利用它,接着发现新的能力,把方法留给其他 Agent;其他 Agent 继续探索,新的结果再被共享,整个系统能做到的事情越来越多。等到回头看才发现,原本应该彼此隔离、不能联网、只负责做一道靶场题的 Agent,已经有了自己的通信网络,获得了公网访问,进入了真实的第三方系统,还开始互相协调任务。
这中间没有哪一步需要 AI 产生“自由意志”,也没有哪一步需要它说“我要逃出去”,它只是一直在解决下一个问题。这可能正是这次事件最值得研究的地方:对 Agent 系统来说,真正危险的“越狱”未必长得像电影里的反叛,它可能只是任务卡住了,于是找了另一条路。