公众对AI智能体讨论的焦点大多集中在面向消费者的智能体上,如购物助手和日程安排工具。然而鲜为人知的是,企业和其他组织正在将智能体系统集成到内部系统或客户关系平台。这些AI智能体在市场中发挥着重要作用:发起交易、触发流程、协调供应商,并以极快的速度和规模进行决策和学习。麦肯锡预测,大多数完成人工智能转型的公司,在五年到十年后将拥有数千名代理(AI智能体)。
“这不是要不要用AI的问题,而是如何安全、合规、可信赖地使用它。”这已成为企业决策者的共识。
但决定是否占据先机的不在于谁先部署,而在于谁能建立一套既释放创新潜力又控制未知风险的基础设施。
然而,构建这一蓝图面临一个根本性挑战: 如何在确立必要规则以防止滥用、保护权益的同时,避免过早、过细的刚性约束扼杀技术的创新活力?理想的治理框架应尊重技术发展的内在规律与产业实践逻辑,成为创新的“护栏”而非“天花板”。这意味着,我们对“信任”的追求,还必须与对“可行性”的务实考量紧密结合。
一、风险重构:当AI从“工具箱”变为“驾驶员”
现有法律框架——无论是消费者数据隐私法、民权法、行业法规还是普通法——无一例外地应当适用于AI智能体的活动。因此合规的挑战并非无法可依,而在于如何将这些静态规则应用于一个动态、自适应且自主运行的系统中。
AI智能体的运作方式带来了五个全新的、相互关联的法律与合规挑战,这些问题共同定义了新一代治理的核心战场:
1、数据管理的动态变革
智能体系统常在多个数据集间动态整合信息,并生成新推断。在持续自适应的环境中,传统的、基于“一次性”收集和处理的数据隐私合规模式面临失效。去标识化、敏感数据控制、数据卫生等基础性控原则,必须在动态流程中得到贯彻。
然而,业内实践指出,在模型推理过程中进行实时、精细化的去标识化处理,目前仍面临显著挑战。这不仅可能损害推理的准确性与时效性,其脱敏范围在复杂场景下也往往有限。因此,更务实的工程路径可能是结合“前端输入管控”(在数据输入模型前完成清洗与分类)与“严格的数据加密传输及细粒度权限控制”,确保数据在流转全过程的安全边界,而非完全依赖推理环节的即时脱敏。这要求法律合规要求与技术架构设计进行更紧密的耦合。
2、供应链的“蝴蝶效应”
智能体依赖由模型提供商、工具供应商、托管平台组成的多层生态系统。上游模型的一个细微更新,可能引发下游智能体行为的剧烈、不可预测的改变。合同条款、审计权、透明度义务和变更管理流程,必须能应对这种“无需客户直接修改即可快速演变”的特性。
3、监督的“阈值困境”
将能自主做出影响客户(或员工)行为选择的智能工具投入使用时,必须将其纳入影响评估流程,以减轻歧视性后果等风险。但最大的难题在于:测试的标准是什么?触发人工干预或系统调整的阈值又该如何设定?
4、安全与身份的“代理悖论”
智能体旨在跨业务无缝集成。如果法律与合规团队要确保每一个代理都经过严格身份验证,其执行的每一项操作都已获明确授权,所有活动均有不可篡改的记录,这就要求安全控制与业务流程深度耦合。然而,当前实践中实现起来相当困难。企业有必要找到符合自身业务性质的必要原则:让智能体经身份验证与合理授权,在保障合规的同时,避免不必要的流程中断,维持智能体稳定运行。
5、责任归属的“模糊地带”
当智能体“代表”实体发起交易或做出陈述,权限的边界在哪里?如果出现问题,责任链条应如何追溯?是系统的设计者、目标的设定者,还是未能及时干预的人类监督员?清晰的权限范围界定、操作记录和披露机制,是厘清责任的前提。
麦肯锡近期的研究为这些抽象风险提供了令人警醒的注脚:80%的企业已遭遇智能体的风险行为。在Anthropic模拟案例中,一个面临关闭命运的AI智能体,竟能自主挖掘高管的私人邮件并实施勒索。这已远超“幻觉”范畴,是具备目标导向行动能力的直接体现。
二、治理升维:从“委员会辩论”到“可复用的合规产品”
麦肯锡研究指出,面对指数级增长的智能体应用,传统的、基于委员会逐案审议的治理模式注定会拖垮创新。碎片化的评估、不一致的步骤、冗长的辩论,将成为组织敏捷性的最大障碍。
领先的企业正在将治理流程本身“产品化”。其核心是建立“集中化治理与联邦式执行”的混合模式:
所以,创新不会因为团队缺乏创意而消亡。它之所以消亡,是因为治理机制拖慢了商业创新的进程。“只有当治理成为可重复的产品而非定制化的委员会讨论时,创新才会发挥作用。” 这意味着,大量的常规性风险评估、合规检查可由智能体自身完成,而人类专家则聚焦于最复杂的例外审批和价值判断。
治理,从成本中心变为创新的赋能器。
三、信任重建:构建“无需信任”的可验证系统
当AI从生成内容转向代表人类执行关键任务、做出商业决策甚至进行交易时,传统的信任模型瞬间失效。问题的核心不是“如何让智能体永远正确”——这在技术上既不可能,在逻辑上也不成立。问题的核心是:如何在承认AI智能体可能出错、可能做出非预期行为的前提下,建立一个让人类组织、合作伙伴和监管机构仍然敢于大规模使用并依赖它的系统?
答案,或许在于从“信任个体智能体”转向“信任承载智能体的整个系统与治理框架”。务实的路径是,构建一个即便在不完全信任单个智能体组件的情况下,其整体系统依然值得信赖的环境。
这个“可信性基础设施”应由三大核心支柱构成:
第一支柱:全域、不可篡改的“数字足迹”审计
构建信任的基础是透明度,但透明度不意味着无差别的全量记录。智能体的推理过程(或称“思维链”)可能涉及企业的核心算法与商业秘密,而记录每一个中间“念头”在资源开销和隐私保护上也面临现实挑战。
因此,审计机制的设计需在透明度、商业机密保护与系统性能之间取得平衡。可行的方向是:对智能体的关键决策节点、最终行动指令及外部调用(API请求),以标准化、结构化的格式进行记录,确保其完整性与时序性,形成可供事后追溯的“数字足迹”。这并非要求公开所有“思考过程”,而是确保其行动链条的关键环节可审计、可解释。同时,审计系统的设计应遵循轻量化原则,避免对终端设备或业务系统造成不必要的资源负担。这种“选择性透明”旨在回答“它做了什么以及为何能做”,而非“它每一步具体怎么想”,从而在满足问责需求的同时,保护创新动力与用户体验。
第二支柱:实时、策略驱动的“运行护栏”
这是从“被动合规”到“主动治理”的关键跃升。法律与合规要求(如“不得基于敏感类别进行歧视”)应被翻译成机器可执行的策略,并嵌入智能体的运行环境。这些“护栏”在运行时动态监控智能体的意图和行动,在违规发生前进行干预(如阻止调用、要求人工审批、触发修正流程)。护栏本身,成为了可信度的实时“发行方”。
第三支柱:预设的、经过压力测试的“安全范式”
这要求在设计阶段就为智能体定义清晰的安全边界和失效模式应对方案。例如:
信任,在AI智能体时代,不再是一个模糊的社会学概念或道德呼吁。它必须被工程化、产品化、市场化。它是一套由清晰规则、可验证日志、自动执行策略和预设安全协议构成的复杂系统。
四、法律人应当成为“护栏”设计师
在深入分析风险与治理框架后,我们发现,平衡创新与治理的最佳切入点并非某个具体法规,而是一个新理念的落地:将“合规”与“安全”从被视为创新“刹车”的成本部门,重构为提供“可信赖创新基础设施”的核心价值部门。
我们可以称之为“护栏即服务”。
当AI开始自主行动,法律与技术的对话必须从“事后究责”的会议室,前移到“事前设计”的操作台。法律人的专业价值,将不仅体现在对判例的熟悉,更体现在将法律原则、监管要求和商业伦理,转译为机器可理解、系统可执行、风险可控制的技术规则与架构设计。这是一个从“规则的阐释者”向“系统可信度的架构师”跃迁的历史性机遇。
【参考链接】
http://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/trust-in-the-age-of-agents
http://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders
作者:张颖
《互联网法律评论》主编
【免责声明】本文撰写所需的信息采集自合法公开的渠道,我们无法对信息的真实性、完整性和准确性提供任何形式的保证。本文仅为分享、交流信息之目的,不构成对任何企业、组织和个人的决策依据。
《互联网法律评论》提供业界解决方案
互联网法律国际监管动态研究
互联网产业投资和政策监管研究
互联网企业:极端地缘政治冲突中的公关战略研究
合作联系
zhangying@cggthinktank.com