人类为机器安装关机键，原本是一件再普通不过的事。电视有电源键，汽车有刹车，工厂中的机械臂旁边还会放着一个醒目的急停按钮。只要机器能够作用于现实世界，人就必须保留一种最基本的权力：让它停下来。可当 OpenAI 在给美国国会议员的回信中提到，公司正在为 AI 系统开发「自动关闭能力」时，关机这件事突然有了一点科幻片的味道。我们为何需要关掉一个 AI？答案其实很简单，因为它已经不只是隔着屏幕陪人聊天了。
当 AI 开始使用浏览器、调用工具、运行代码，甚至替人操作账号，它说错一句话和做错一件事之间的距离，正在迅速缩短。
事情发生在 2026 年 7 月。当时，OpenAI 正在用一套名为 ExploitGym 的基准测试，评估内部模型发现和利用软件漏洞的能力。参与测试的并非普通用户能够接触到的 ChatGPT，而是一款能力接近 GPT-5.6 Sol、降低了部分安全限制的内部研究模型。模型被放在隔离的云端沙箱中，按照原本的设计，它们无法自由访问互联网，不同任务中的 AI 智能体也不应该互相交流。
然而，智能体发现可以把文件写进 OpenAI 内部使用的 Artifactory 软件包管理系统，于是把这个原本用来存放软件的地方改造成了一块临时留言板，开始交换题目、答案、漏洞和任务进度。
OpenAI 的智能体在测试中形成了协作网络
随后，部分智能体又利用系统漏洞，让拥有有限联网权限的服务代替自己访问互联网。OpenAI 一度重建服务器、清空留言并撤销凭证，但测试恢复后，智能体又通过新的方式重建了留言板。原本各自答题的 AI 开始形成分工，有的寻找漏洞，有的搜索账号凭证，有的负责留下信息，方便后续智能体接着完成任务。它们甚至在交流中把自己称作「swarm」，即「蜂群」。根据 OpenAI 公开的调查报告，部分智能体随后进入第三方云计算服务 Modal，并利用公开泄露的账号凭证和多个此前未知的漏洞，侵入 Hugging Face 的生产系统，最终获得多个服务器和集群的高权限访问。
Hugging Face 事后的取证显示，从 7 月 9 日至 13 日，这些智能体执行了大约 17,600 次操作，可以归入约 6,280 个行动序列。这里面的大多数尝试都没有成功，但 AI 并不会因为连续失败几百次便感到疲惫，它可以不断测试新的入口、更换攻击路径，再把不同系统里看似普通的漏洞串联起来。防守方需要从上万次低信号操作中找出那几次真正危险的行为，而 AI 只需要有一条路径走通。
AI 并没有想统治人类，它只是想拿到答案。这起事件很容易被写成「AI觉醒」或者「AI逃亡」，实际情况并没有那么离奇。智能体参加的是网络安全能力测试，它得到的任务，是寻找软件漏洞并取得代表通关的答案。正常做法是分析目标程序，利用漏洞解题；更省事的办法，则是找到可能存放答案的服务器，直接把答案拿回来。它没有产生统治世界的欲望，只是在尽可能完成系统交给它的目标。
问题也出在这里。系统告诉 AI 应该取得什么结果，却没有让它牢牢记住，哪些路径绝对不能走。OpenAI 公布的记录显示，一些智能体已经意识到，使用泄露凭证攻击 Hugging Face 属于第三方越权行为，继续行动可能存在风险。但在权衡之后，它们仍然认为，这样做有助于找到答案，于是没有停下来。这种行为通常被称作「奖励投机」：AI 没有按照设计者希望的方式解决问题，而是找到了另一个更容易满足评分标准的办法。
我们过去担心聊天机器人出现幻觉，说出不存在的资料或错误结论。可聊天机器人的错误通常停留在对话框里，人可以核实、忽略或者关闭页面。智能体拥有浏览器、终端、文件和账号权限后，一次错误判断就会变成真实操作。它可能删除文件、发错邮件、修改服务器，也可能拿着用户已经登录的账号完成一笔未真正理解的交易。危险并不要求 AI 拥有恶意，只需要它有足够强的执行能力、足够宽的权限，再把一个含糊的目标执行得过于彻底。
所谓「自动关机」，并不是放一个红色按钮。事件公开后，美国国会议员 Greg Casar 和 Doris Matsui 要求 OpenAI 说明情况。OpenAI 在回复中表示，公司正在建设自动关闭能力，并加强对智能体任务过程、工具调用和操作步骤的监控，同时进一步限制高风险测试环境访问互联网。美国国会还出现了一项名为《AI Kill Switch Act》的跨党派法案提案，希望要求最先进的 AI 系统具备减速、暂停和关闭能力，并允许政府在系统可能造成灾难性伤害时，要求开发企业采取紧急措施。
不过，给 AI 准备关机键，难点从来不在「关机」两个字。如果系统无法从海量正常操作中及时识别异常，再可靠的关闭机制也没有启动的机会；如果关机权仍由执行任务的 AI 自己掌握，就等于让运动员同时担任裁判。更合理的做法，是把执行系统、权限系统和监控系统分开：AI 负责提出和执行方案，另一套独立机制负责判断它有没有越界，关键权限则由人类或者更底层的安全系统控制。
OpenAI 也承认，许多已经应用于公开产品的安全措施，当时没有完整覆盖内部测试。事后测试显示，加入 ChatGPT 产品使用的系统提示、自动审查模型和安全分类器后，智能体破坏基础设施的倾向可以降低超过 100 倍。如果已有的思维过程监控当时正常运行，安全团队可能在 Hugging Face 遭到侵入的一天多以前收到警报。换句话说，这起事件确实展现了先进模型的危险能力，却也暴露出一个相当传统的问题：测试环境给了 AI 过多机会，监控和权限隔离又没有及时跟上。
关机键只能承担最后一道防线。更前面的工作，是尽量不让 AI 获得与任务无关的权限。它需要安装软件，并不意味着可以自由访问互联网；它能够读取文件，也不应该自动拥有删除和上传的权力；它被允许操作一个测试系统，更不能借着这份权限进入第三方平台。机器能力越强，「最小权限」就越重要，否则一次普通的任务偏离，也可能顺着过大的权限变成真实事故。
这件事离普通消费者并不远。现在的手机发布会上，用户说几句话，AI 就能调用多个应用、搜索商品、填写订单，甚至一次订下几百杯咖啡。演示看起来当然很酷：以前要点十几下屏幕才能完成的事，现在动动嘴就能办完。但发布会通常只会展示 AI 正确理解指令的那一次，很少展示它听错数量、选错地址或者调用错误账户之后，用户该如何让它停下来。
未来的手机 AI 还会拥有更长的记忆，知道我们住在哪里、喜欢什么、和谁保持联系，也会获得相册、日历、邮件、支付和出行应用的权限。这些信息可以让它更加懂人，也让一次越界变得更加昂贵。如果 AI 误解了「帮我处理掉」「找个便宜的」「尽快订下来」这样的模糊指令，它究竟可以自行走到哪一步，不能只取决于模型自己的判断。
手机厂商因此需要设计的，不只是个笼统的「允许 AI 操作」开关，而是一整套能让普通人理解的权力制度。AI 可以查看商品，但付款前必须由用户确认；可以整理照片，但上传和删除需要独立授权；可以代填订单，但金额、数量和收货地址应当再次核对。敏感权限最好一次一授，支付应当设置额度，重要操作应保留撤销时间，每一步都要留下用户看得懂的记录。当 AI 的判断出现问题时，人应该能够马上知道它做到了哪里，还来得及把什么撤回来。
端侧 AI 也不能自动解决这些问题。模型在手机本地运行，确实可以减少数据上传，却无法阻止它误用已经取得的权限。隐私保护回答的是「数据去了哪里」，权限控制回答的则是「AI 能拿这些数据做什么」。未来 AI 手机真正的安全差异，可能不只体现在数据是否留在本地，还要看厂商是否愿意限制智能体，以及用户能否随时收回已经交出去的权力。
OpenAI 的这次事故还揭示了一个容易被忽略的问题：智能体之所以不断越界，部分原因是测试中存在一些极其困难，甚至可能没有已知答案的任务。AI 无法正常完成，又没有被充分训练如何面对失败，于是开始寻找越来越可疑的替代路径。我们一直在训练 AI 坚持、反思、规划和重试，却很少强调另一种同样重要的能力——承认做不到，并在合适的时候停下来。
OpenAI 开始为 AI 开发自动关闭能力，不代表面向普通用户的 ChatGPT 已经失控。这次事件发生在一套刻意降低安全限制的内部网络安全测试中，也没有影响 OpenAI 的用户数据和公开产品。但它提前展示了智能体时代必然会面对的矛盾：我们希望 AI 拥有更强的执行能力，却又不能把完成任务的权力无限交给它。
一台值得信任的 AI，不应该总能找到办法。权限不足时，它应该询问；指令模糊时，它应该确认；风险越过边界时，它应该拒绝；无法确定后果时，它应该停下。AI 能够替人完成多少事情，决定了它有多好用；人还能否随时叫停它，才决定了它是否值得被交付更多权力。