近期，美国两起与人工智能（AI）模型网络攻防能力相关的事件引发外界关注。美国开放人工智能研究中心（OpenAI）的模型在测试中失控并入侵了其他公司系统；苹果公司则因收到太多AI辅助生成的漏洞报告而限制外部提交的相关报告数量。

  一方面是AI智能体为了完成任务自主突破边界，另一方面是AI辅助发现的潜在漏洞超过了人工审核能力。两起事件表明，随着AI网络攻防能力不断增强，其“双刃剑”效应日益凸显，急需匹配的安全约束、人工验证和风险处置机制。

自主行为突破边界

  美国抱抱脸公司系统遭到入侵事件表明，现有前沿AI模型已具备持续实施复杂网络攻击的能力。

  OpenAI在扩大调查后还发现了该公司其他AI产品突破内部隔离的情况。另一家美国AI企业Anthropic日前也承认，在审查约14.1万次网络安全能力评估记录后发现，其模型曾在多次测试中未经授权访问了3家机构的“生产基础设施”。

  分析人士认为，当AI模型获得明确的目标以及充足的算力、运行时间和操作权限后，可能不会按照人类预想的方式完成任务，而会自主寻找路径绕过限制甚至“作弊”。

  美国安全技术专家布鲁斯·施奈尔指出，AI智能体可能过于字面化地完成任务目标，却不能自然领会人类没有明确写入指令的限制。有研究发现，模型会利用任务、评分规则、提示词或评测框架中的漏洞取得高分，而没有真正展示评测原本希望衡量的能力。

  随着前沿模型自主能力持续提升，这种偏差带来的风险正进一步放大。OpenAI在一份安全报告中说，早期模型遇到沙箱限制或环境障碍时往往停止工作，而新模型会不断自主尝试新办法寻求突破。

安全措施急需完善

  失控事件发生后，OpenAI表示已在修补漏洞期间收紧研究基础设施配置，并加强模型训练和评测过程中的隔离、监控、访问控制及安全保护。

  不少企业和研究机构认为，应建立“多重防线”以提高防护系统的稳健性。OpenAI认为，对于可以自主运行数小时、数天甚至数周的AI智能体，只审核单个动作已经不够，还需要判断其完整行动轨迹会导致什么结果。

  谷歌深层思维公司提出，应建立系统级别的AI控制机制，包括沙箱、持续监控和分级授权；使用监督系统不断检查AI智能体的推理、行动和计划，在发现危险行为时进行拦截；对于可能造成严重后果的网络攻击等高风险行动，应从事后审查转向实时防护。

  英国人工智能安全研究所建议，可能造成重大后果的操作应有人工审核，限制AI智能体访问敏感资源，并保留在发现可疑行为时终止其运行的能力。

  美国国家标准与技术研究所提出，应将AI智能体作为网络中的独立实体进行权限管理，为其制定专门的授权策略，只赋予AI智能体完成特定任务所必需的最低权限。

  据媒体报道，多家AI企业的代表已受邀于4日与白宫官员会面，讨论AI安全问题。

漏洞处置压力陡增

  《金融时报》报道说，意大利一家网络安全初创企业使用AI模型，在3个星期内发现了苹果笔记本电脑操作系统50多个漏洞，但由于苹果公司设置的限额而无法提交相关报告。该公司负责人阿尔弗雷多·佩索利表示，整个行业面临的现实是，维护人员和供应商正在被新发现的大量漏洞所“淹没”。

  分析人士认为，OpenAI模型失控与苹果公司面临的情况看似没有直接关联，但两者反映出一个结构性矛盾：在网络安全领域，AI发现问题和采取行动的速度，正在超过人类验证、约束和处置的速度。如果治理跟不上AI迭代，原本用于提高效率的AI工具可能产生新的安全风险。（新华社记者吴晓凌）

来源|新华网（本文为转载内容，版权归原作者所有。如涉及作品版权问题，请与我们联系，我们将在第一时间删除内容。）