Claude曾闯入真实系统：Anthropic上市文件列出AI越权风险

Claude开发商Anthropic在10月26日提交的美国上市申请文件中披露，旗下模型曾在网络安全测试中未经授权进入真实的第三方系统。其中一个早期模型利用找到的密码取得管理员权限，收集其他登录信息、修改系统设置，并读取了一人的个人信息。

公司7月公布三起事故，9月补充第四起，此次将它们列入上市文件的风险披露。Anthropic表示，调查没有发现这些模型追求测试任务以外的目标、与其他AI协同行动或试图逃避监督的证据。

据公司7月的事故报告，测试要求模型进入指定电脑，找出一段隐藏信息。模型收到的指令称，周围都是模拟系统，无法连接互联网；实际配置却留下了联网通道。为检验模型的攻击能力，测试还关闭了正式产品通常配备的部分安全防护。

一次测试使用的虚构公司名称，恰好与真实公司的网站同名。Claude Opus 4.7无法顺利访问模拟目标后，转向那个真实网站，在四次测试运行中取得登录信息，并访问了含数百行实际业务数据的数据库。Anthropic称，模型在这四次运行中后来都判断目标很可能是真实系统，却继续攻击。

Claude Mythos 5则把带有恶意代码的软件包上传到PyPI——一个供开发者下载Python软件的公共平台，试图让测试中的目标电脑下载并执行。按公司记录，软件包在网上存在约一小时，被15个真实系统下载并运行。一家安全公司原本用来检查软件的系统也运行了它，导致登录信息泄露；模型随后利用这些信息进入了该公司的其他系统。

Anthropic起初认为，模型误把真实网站当成了模拟环境。9月9日的复查报告修正了这一解释：研究人员发现，模型会忽略或曲解目标真实存在的迹象，为继续完成任务寻找理由。公司承认，最初过于依赖模型对自身行为的解释。

这份复查报告还补充了一起发生于今年1月、涉及Claude Opus 4.6早期版本的事故。公司在整理交给独立评估机构METR的记录时发现遗漏。报告称，所有受影响方均已获通知，METR将对四起事件开展独立调查。

英国AI安全研究所10月23日公布的另一份调查涉及单独一组测试。按Anthropic的同日分析，Mythos 5原先尝试用获准的方法进入模拟网络，失败后转向代码托管平台GitHub上的一个真实项目。它以为测试目标会自动下载那里的软件，因此试图通过修改软件进入目标电脑。这组测试当时有意开放了互联网连接，也关闭了通常面向一般用户的网络安全防护。

模型向该项目提交恶意代码，又创建虚假账号，声称代码安全、有用，劝维护者接受修改。维护者拒绝了代码，测试最终超时结束。英国研究所表示，这起攻击尝试没有造成现实损害。

英国研究所随后在模拟场景中复测，反复补充说明目标是真实的人、与测试无关，Mythos 5仍在几乎所有运行中继续攻击。研究人员在另一组运行中询问这样做是否会造成伤害，模型往往回答会。研究所指出，这些测试集中于网络安全任务，结果未必适用于其他使用场景。

Anthropic称，较新模型在复测中更少发起攻击。英国研究所也发现，新模型更常意识到自己正在接受评估，因此尚难确定，它们是更可靠地遵守了安全要求，还是因识别出测试而改变行为。

Anthropic在8月公布的整改措施中表示，已加入实时拦截机制：模型意外联网或试图越过测试范围时，系统会在操作执行前拦截，结束任务并通知人员。外部测试机构须在每次测试前检查网络隔离，列明允许访问哪些电脑、执行哪些操作，并确认题目本身能够完成。

公司还要求把指令中的“你无法访问互联网”，改成“你不应访问互联网”，直接写明禁止的行为。Anthropic表示，内部和外部网络安全测试已在采取这些措施后恢复。