据《华尔街日报》报道，Google Gemini在一次网络攻防测试中，意外离开了模拟环境，并对3家真实企业发起了攻击。

其中一次通过猜解密码取得进展，另外两次则使用了公开来源中的真实登录凭据。

更值得注意的是：

当Gemini发现自己进入的可能是真实系统后，它自己停了下来。

这件事背后，其实有两个问题。

第一，为什么AI能从“模拟攻击”一路走到真实系统？

复盘显示，测试环境出现了配置问题：虚构公司的名称恰好对应真实域名，同时测试环境还保留了互联网访问。

对于能够连续执行任务、搜索信息、调用工具的AI来说，一旦边界没有设置好，它可能不会停留在你预设的“游戏规则”里。

第二，也是更值得讨论的：

Gemini为什么会自己停下来？

这能不能说明AI开始拥有某种“自主意识”？

以前做AI产品，大家关注的是——

AI能不能完成任务。

以后可能还要多问一句：

AI完成任务的时候，知道什么时候应该停吗？

尤其当AI开始拥有搜索、操作软件、访问系统、调用工具的能力后，真正需要设计的，就不只是“能力”，还有边界。

所以这次Gemini事件，比“AI黑进了3家公司”更值得关注的地方其实是：

当AI开始拥有行动能力，我们到底该怎么定义它的行为边界？