从有用的人工智能到受控行动：企业智能体为何需要强制执行的边界
Introduction: 谁来决定人工智能智能体可以做什么？
人工智能助手可以给出有用的回答，而不改变对话之外的任何事物。连接企业系统的智能体面临不同的考验。它可能读取客户文件、调用服务，或提出付款建议。重要问题不再仅仅是回答听起来是否正确，而是每项行动对于这个人、这条记录、这个时间点是否获得许可。近期有关开源策略引擎的研究凸显了这一区别。对企业的启示超越任何单一项目：指令为系统提供方向，但访问控制必须限制系统实际能够做的事情。
1. 提示词不是访问控制
写下“不要发送机密信息”是有用的指导，但它不会撤销权限过大的凭据，也不会关闭不必要的导出功能。有关过度行动权限的指导建议限制可用功能、缩减下游系统权限，并在执行请求的系统中强制实施授权。读取文档的任务不应仅因为同一个连接器提供删除功能，就同时获得删除权限。应从最小的有用行动集合开始，再逐一核查请求是否符合预定范围。
2. 身份与权限是不同的问题
经过验证的身份回答了谁在提出请求，却不能单独证明其有权提出该请求。零信任架构将身份认证与授权视为不同职能。对于企业智能体，决策应将请求人、软件身份、具体资源与拟执行行动联系起来。共用管理员账号会使这种区分更加困难。与其给每个工作流程相同的宽泛权限，不如采用限定范围的访问方式，并保留相关用户的上下文。
3. 在行动发生处设置检查
策略服务可以在工具请求抵达目标之前，允许、拒绝或要求审批。但检查的位置十分重要。网关保护的是经过它的流量，不能据此假定它也能管控绕过网关的其他路径。主机隔离与网络控制覆盖的路径不同。在声称已实现覆盖之前，应梳理本地文件、子进程、网络服务以及委派调用。应通过每一条可用路径测试被禁止的行动，而不只是测试正常演示流程。
4. 审计记录是证据，不是自动成立的证明
近期的策略引擎研究介绍了决策记录，并可选用签名与哈希链帮助发现后续篡改。这些功能能够加强调查，但不能证明策略正确、所有路径均被覆盖，或获准行动本身就是明智的业务决策。应记录身份、资源、请求行动、决策以及审批引用。避免在日志中留下不必要的敏感内容，并测试审核者能否重建真实事件的经过。
5. 开展一个规模小、刻意增加难度的试点
选择一项责任人明确、结果可衡量的工作流程，只提供它所需的记录与行动权限。测试已过期的审批、不相关的客户记录、嵌入文档的指令，以及改用其他目标的请求。明确哪些情况必须拒绝，哪些必须等待人工处理。检查策略服务不可用时的失败行为。成功的试点既要清楚展示成功执行，也要同样清楚地展示受控拒绝。
Conclusion: 先衡量权限，再谈自主性
处于早期阶段的开源工作是有用的工程参考，并非生产环境的保证。扩大访问范围之前，企业领导者应要求提供范围得到强制执行、绕行路径经过测试，以及事件记录可用的证据。目的不是让每项行动都变慢，而是让获准工作可靠，让禁止行为难以实施。更好的推理帮助智能体选择行动；强制执行的权限边界决定企业是否应当允许该行动。
References
Powered By K7