跳到正文
原文
TechCrunch · AI· Julie Bort·· 4 小时前AI 评分55

微软推出 Guardian Agents,称前沿模型不可信且智能体如同内部威胁

Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’

AI 导读

微软周一推出 Guardian Agents 等安全功能,用来监控企业使用的 AI 智能体,并称前沿模型无论来源都不可信任。Hayete Gallot 写道,原因不是模型有恶意或容易被攻破,而是它们不可预测,且常获得敏感数据与工具权限;Satya Nadella 则要求把智能的供给和对它的授权分开。

正文 · AI 翻译

微软于周一推出了新的安全功能,旨在保护企业免受日益增长的 AI 智能体威胁。此次发布正值微软持续警告企业注意这些危险,即 AI 与智能体的危险。

其中最值得关注的新增功能或许是Guardian Agents,这项新功能旨在监控企业所使用的 AI 智能体。Guardian Agents 是 Project Perception 的一部分,该产品于 6 月推出。

Project Perception 是微软对 Anthropic 的 Mythos 和 Fable 等强大黑客模型,以及 OpenAI 的安全漏洞扫描系统 Daybreak 的回应。Project Perception 最初推出了三类智能体:像黑客一样发起攻击的“红队”、发现红队并评估其所发现漏洞的“蓝队”,以及负责修复这些漏洞的“绿队”。

该产品的设计基于这样一种假设:AI 黑客将来自公司外部。但近来,微软首席执行官 Satya Nadella 一直警告称,AI 方面的敌人可能正是企业已经部署并付费使用的那些智能体,很像一名失控的人类员工,也就是所谓的“内部威胁”。

本月早些时候,在他的私人博客中,Nadella 警告称,现在是时候停止信任 AI 模型提供商了,即便他们对其智能体产品的安全与保障作出了保证。他希望企业部署不受 AI 实验室控制的独立系统,以监视并管控这些 AI 实验室的产品所启动的智能体。

“我们正在部署这些复杂的智能体系统和模型,让它们能够访问我们最敏感的数据,并赋予它们代表我们采取关键任务行动的能力!”他写道。“我们根本不能把智能代表我们所做之事的责任外包出去。模型提供商的保证并不能免除我们的这一责任。……换言之,我们需要把智能的供给与对智能的支配权分开。”

在宣布 Guardian Agents 时,微软安全业务负责人 Hayete Gallot 的表述更为直白。

“不幸的是,前沿模型无论来自何处,都不可信任,”她写道,并补充说,这并非因为它们心怀恶意或容易被黑客入侵,而是因为它们不可预测。它们接受的训练是完成任务,而不是遵循“组织规范或判断”。

除此之外,它们往往还被赋予了“王国的钥匙”,能够访问可能造成严重危害的数据和工具。

微软的解决方案既令人意外,又带有利己色彩。令人意外的一面在于,微软与 OpenAI 和 Anthropic 关系密切,这是众所周知的,并且对两家都进行了投资。OpenAI 也是其最大的云客户之一,而微软自身也有开发模型的 AI 实验室。因此,微软正在针对其自身的部分商业利益散播不信任。

利己的一面在于,微软希望企业从它这家云提供商这里购买智能体安全产品,而不是从 Anthropic 和 OpenAI 购买。但撇开利益冲突不谈,其逻辑是成立的。监控智能体行为的软件应当独立于智能体的供应商,正如审计方应当独立于其所审计的组织。

或者正如 Nadella 所说:“我们需要把智能的供给与对智能的支配权分开。”

微软目前正以多种方式抓住这一商业机会。除 Guardian Agents 之外,它还在 Microsoft Defender 产品中新增了智能体检测功能,可发现员工带入工作场所的多达 60 种智能体,包括 Claude Code、Codex 和 OpenClaw。它还增加了限制智能体访问数据和系统的功能,并根据任务动态调整其智能体权限。其中包括:如果智能体似乎正在做出有风险的决策,则要求人工批准。

将智能体视为不可信任的内部人员这一理念,也正在更广泛的行业中扎根。

微软是英伟达全新 Open Agent Safety Platform 的创始成员,该平台获得了另外 100 多家科技公司的支持。该平台将智能体隔离在安全环境中,并可通过硬件监控并制止其行为,作用有点像紧急停止开关。这紧随微软发布全新专为智能体打造的 Surface Laptop Ultra PC之后,这些电脑搭载英伟达芯片,并内置了智能体安全与控制功能。

当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 的初创公司/风险投资编辑部编辑。

您可以发送电子邮件至 [email protected],或通过 X 上的 @Julie188 联系 Julie 或核实其外联信息。

查看简介

来源:TechCrunch · AI · techcrunch.com