纳德拉：企业应该像防范内部风险一样防范 AI 模型

微软 CEO 纳德拉（Satya Nadella）的长文。他主张企业把 AI 模型当成“内部风险”来防范，像对待一个权限很大的员工那样，给它设身份、限权限、留记录，并且随时能叫停。

“内部风险”（insider risk）是安全行业的说法，指来自公司内部员工、承包商的风险。这些人手里有权限，可能恶意搞破坏，更常见的是操作失误，或者账号被人盗用。纳德拉认为模型也适用这套逻辑：它未必有恶意，但任何能力够强、又能碰到核心系统的角色，都可能出错或被攻破。

他的出发点是可追溯性。传统软件出了问题，工程师能顺着代码找到是哪一段导致的。大模型做不到这一点，没人说得清某个输出来自哪部分训练数据、哪组参数。可企业已经在让 AI 智能体读取最敏感的数据，替人执行关键操作，模型厂商的保证不能替企业承担责任。

方案可以概括为一句话：把“提供智能”和“管控智能”分开。模型负责干活，但它能访问什么、能做什么，由模型之外的系统决定，模型自己改不了。

这条原则在信息安全领域上世纪 70 年代就有了：程序不能绕过或篡改约束它权限的机制。放到今天，就是把模型、调度模型干活的外层程序、模型能执行的操作范围三者拆开，安全控制放在外面。

他也要求模型的思维链（模型给出答案前写出的推理过程）必须公开，不能拿“模型用人类看不懂的方式思考”当理由藏起来。但光看思维链还不够，因为目前没法保证模型写出来的推理就是它真实的思路。让模型互相检查也有局限：一个看不透的模型，被另一个看不透的模型盯着，等于黑箱套黑箱。

他列了七条原则：

1. 模型多样性：关键结果不能只依赖一个模型，也不能让模型检查自己的活。
   
   
2. 全程可观测：模型每个重要操作都要留下防篡改、人能看懂的记录，事后能复现过程，不靠模型自己作证。
   
   
3. 可验证：持续测试整个系统，包括失败、攻击、边界情况和系统变更，不能只测成功的任务。
   
   
4. 独立控制：企业能自己决定模型能访问什么、能执行什么操作。
   
   
5. 独立审计：审核要独立于被审核的模型，同一个模型不能既控制系统行为，又掌握判断这些行为是否合规的证据。
   
   
6. 隔离控制：默认模型已经被攻破，从一开始就把它关在边界里。授权的人随时能在任务中途暂停或关掉它，相当于紧急刹车。
   
   
7. 事故披露：出了问题要及时告知受影响的人，说明哪道防线失效了、以后怎么避免，并在全行业共享经验，包括那些会改变智能体运行时行为的实现细节。
   
   对正在部署智能体的企业，这几条可以直接拿来对照：模型的权限由谁管，操作日志存在哪，出问题能不能立刻叫停，是不是只押了一家模型。
   
   对开发者来说，权限控制和审计日志要写进智能体外层的程序里，靠提示词约束模型行为是不够的。
   
   微软自己的 Copilot 和 Azure 都接入了 OpenAI、Anthropic 等多家模型，“模型多样性”这条和它的做法一致。
   
   纳德拉最后的总结写挺好：“最值得信任的超级智能系统，是那个让我们可以最不信任模型的系统。”