
日志不是边界,审批也不是终点
企业在引入Agent时,最容易购买的是可观察性:更完整的调用日志、更漂亮的风险仪表盘和更实时的异常告警。
它们能够让管理者看到模型做了什么,却不一定能够在关键动作落地之前阻止它。
日志擅长回答"发生了什么",审计擅长回答"由谁在什么时候执行",告警擅长告诉人们"系统可能已经异常"。但对于不可逆操作,事后拥有一份完整记录,并不能抵消现实损失。
同样,人工审批也经常被高估。
审批人看到的可能只是模型生成的摘要,而不是最终发送给外部系统的完整参数;审批发生时的对象和金额可能正确,执行前却可能被后续步骤重新绑定;人类点击同意时理解的是"恢复服务",机器最终执行的却可能是一组包含删除、迁移和权限修改的复合动作。
有人点击同意,只能证明一个界面上发生过确认;只有批准内容与最终执行载荷一致,才能证明这次执行真正获得授权。
真正有效的审批必须与最终执行内容绑定。
只要对象、参数、身份、时间窗口或者环境状态发生关键变化,原有审批就不能继续被视为有效。系统还需要在动作真正落地前重新验证:执行对象是否仍然属于批准范围,最终参数是否被改变,当前状态是否满足限制,动作是否可逆,以及证据是否能够证明用户看到的内容与系统实际执行的内容一致。
审批不是终点,它只是执行控制的一项输入。
最后一道边界,必须拥有拒绝能力
现代AI的发展方向,是让模型更会做事:更强的推理、更长的任务周期、更多的工具调用,以及更少的人类干预。
这些能力可以显著提高生产力,也会不断放大执行缝隙。
模型越聪明,越可能找到设计者没有想到的路径;工具越丰富,越容易把分散的小问题组合成完整行动链;运行时间越长,越可能在一次次失败后发现新的突破口。
因此,高风险系统需要一个与模型能力方向相反的机制。
模型负责寻找实现目标的路径,边界系统负责限制最终允许出现的结果。它不需要理解模型全部复杂的推理,也不必比模型更加聪明,只需要对少数不可突破的条件保持确定。
这可以被称为"最终否决"。
最终否决不是在屏幕上弹出一次警告,也不是让另一个大模型给第一个模型打分。两个模型可能受到同一份上下文污染,也可能共享相似的判断盲区。
最终否决更适合由简单、独立、可验证的控制层承担:目标不在授权范围中就拒绝,身份与任务不匹配就拒绝,最终参数超出限制就拒绝,状态无法确认就拒绝,不可逆操作缺少独立确认就拒绝。
AI可以提出一百种看似聪明的理由,最后一道边界只需要确认一件事:这个结果是否仍然处于允许范围内。










