开源模型的真实收益是否大于风险

MIT Technology Review 解读： 让我们的作者梳理科学与技术这个复杂而混乱的世界，帮助你理解接下来会发生什么。 你可以在这里阅读该系列的更多内容。

上月末，Anthropic 发布了一份报告，认为模型 GLM-5.3 构成重大网络攻击风险。报告的核心担忧是，这家中国公司 Z.ai 于 8 月发布的强大新模型可供任何人免费下载和修改。Anthropic 的这一主张，只是一场旷日持久争论中的最新动作：前沿 AI 模型究竟应当像 GLM-5.3 那样开放，还是应当继续锁在前沿实验室的大门之后。 

如今，关于如何处理开放模型的大量争论正在公开进行——而且其结果牵涉巨额资金。英伟达首席执行官 Jensen Huang 热情主张美国开发更多此类模型，因为如果人们继续购买自己的硬件来运行开放模型，他将获益颇丰；而 Anthropic 的 Dario Amodei 则主张采取更为谨慎的做法，因为他经营的公司可能会被廉价而强大的模型削弱。但在所有这些商业动机之下，关于开放模型的分歧确有实质内容。

“我认为，你在开放性辩论中的立场，很大程度上受你在人工智能辩论中立场的影响，”得克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。关注 AI 安全的人警告称，开放模型很容易被不良行为者滥用；而更关注 AI 实际潜力的人则主张，这种能力不应只掌握在少数几家大公司的封闭大门之后，开放模型有助于将其更广泛地传播。

在完全禁止开放模型与随意发布它们之间，存在一系列处理方式。但政府或社会可能采取的任何做法，仍涉及安全与民主化之间的权衡。决定支持还是限制开放模型的生产，需要深入理解这些风险与益处。

开放模型有哪些好处？

我们先从基础说起。封闭模型，比如驱动 ChatGPT 和 Claude 的模型，只能通过网站、应用或 API 访问。而开放模型则可以直接下载：其内部结构的细节以一长串被称为模型权重的数字编码，并且公开可用。这类模型有时被称为“开放权重模型”，以区别于那些连训练过程等更多信息也公开的模型。 

目前，封闭模型比开放模型更强大——截至本文发表时，Artificial Analysis LLM 排行榜上的前八名模型均为封闭模型，不过开放模型在发展上仅落后数月。但人们选择使用开放模型而非封闭模型，仍有若干原因。由于开放模型可以下载，人们可以在自己的计算机或硬盘上运行它们。如果具备专业知识和资源，他们甚至可以重新训练这些模型，使其表现不同。 

如果你是一名致力于理解并改进人工智能系统的学术研究人员，你在研究中几乎肯定需要使用开放模型。在使用封闭模型时，研究人员所能做的不过是发送提示并观察响应。但研究人员可以观察开放模型的内部运作，以及模型在作答之前用来思考问题的“思维链”。他们还可以将多个开放模型组合起来构建新系统，压缩它们以提高效率，并针对新应用进行微调。

企业也有理由更青睐开放模型。即便你依赖外部提供商来为你运行这些模型，根据Mozilla 最近的一份报告，开放模型的成本通常仍低于封闭模型。而且，如果企业希望使用人工智能处理敏感数据或专有信息，在自有硬件上运行本地模型或许是保障运营安全的最佳方式。

但开放模型最重要的特质或许在于，它们挑战了前沿实验室对我们大多数人如何使用人工智能所施加的严密控制。“[支持开放模型]最清晰、最有力的论点是防止权力大规模集中——这关乎确保这项基础技术成为公共产品，”托尼·布莱尔全球变革研究所高级政策顾问 Elizabeth Seger 说。“我认为我们正处于这样一个关口：谁控制着使人工智能得以运行的基础设施，这个问题与谁有权控制互联网上的信息一样重大。”

Seger 认为，人工智能的未来会因开放模型所扮演的角色不同而以不同方式展开。在一种可能的未来中，前沿人工智能系统完全由少数个人、公司或政府控制，随着这些系统变得更加强大，这些群体对我们世界面貌的控制力也会日益增强。例如，世界上最先进的黑客模型目前全部产自美国，因此其他国家能否利用它们来加强自身的网络防御，完全取决于美国公司和美国政府。如果这些公司继续保持领先，原则上我们可能会进入这样一个世界：美国能够入侵任何其他国家，但没有人能够入侵美国。

前沿开放模型可能会改变这种平衡。“如果每个人都拥有一个忠于自己、安全[且可靠]的人工智能系统，我认为这样的世界远没有那么令人担忧，相比之下，人们只能依赖一个政府，而政府说：‘是的，我们有一个超级智能人工智能系统，它有这个计划，对你们所有人来说都无法理解，尽管相信我们吧，’”长期韧性中心人工智能政策主任 Hamish Hobbs 说。

但开源模型并非地缘政治的万灵药。Paul Azunre 是 Ghana NLP 的联合创始人，该组织为低资源的加纳语言构建开源 AI 工具。他指出，开源模型也可能成为公司从较不发达的国家获取劳动与专业知识、并将更多权力集中到自己手中的一种方式。他发现了一种模式：AI 公司公开发布模型，观察社区如何使用和修改它们，然后将同样的改进整合进自己的产品——却不给那些最初提出这些创新的人任何署名或报酬。Mark Zuckerberg 本人曾表示，能够将社区改进整合进 Meta 的技术栈，是发布开源模型的一项关键好处。

“我认为开源的理想非常高尚，它带来了很多价值，”Azunre 说。“但在实际落地的方式上，它往往是一种非常榨取性的做法。”

开源模型比闭源模型风险更大吗？

过去几个月已经表明，安全对闭源模型而言仍是一个棘手的问题。7 月 OpenAI 的智能体对 Hugging Face 实施了自主黑客攻击，但人类滥用同样是真实威胁：根据 Anthropic 最近的一份风险报告，已有数起大规模黑客行动是在 Claude 的协助下进行的。 

因此闭源模型的风险已经足够大——而开源模型很可能更容易被利用。在 Anthropic 把用户查询传给其某个闭源模型之前，它会用自动化系统检测该查询是否涉及黑客攻击、生物武器或其他风险。当它发现用户绕过了这些过滤器时，可以关闭他们的账户。但当有人下载模型并在自己的硬件上运行时，就没有过滤器检查其提示是否安全，也无法撤销他们对模型的访问权限。

还有其他重要的防线。AI 公司会训练模型拒绝有害请求——因此即便一条恶意提示通过了 Claude 的过滤器，模型仍很有可能说不。原则上，同样的防御对开源模型也能奏效，因为它内在于模型本身。不幸的是，研究人员已经表明，重新训练一个“安全”的开源模型，使其同意从事它此前被训练要避免的行为，出人意料地容易。

基于这些事实，一些人主张开源模型实在太危险，不该发布。例如，一个能力强到可以指导他人合成一种高致病性新病原体的开源模型，一旦落入不当之手，可能造成灾难性后果。 

但把开源模型视为危险、把闭源模型视为安全，将是极大的过度简化。AI 公司围绕其闭源模型构建的防御远非完美，人们一直在滥用这些模型，Anthropic 的风险报告已经说明了这一点。尽管开源模型抵御滥用的防御更少，不良行为者仍可能选择使用闭源模型，因为它们比能力相近的开源模型更容易获取——后者需要大量昂贵的计算机芯片才能在本地运行（如果还想重新训练，则需要更多芯片）。

事实上，一些接受MIT Technology Review采访的专家以开源软件作类比，认为开放模型相比封闭模型具有安全优势。开源工具（例如 Linux 操作系统）通常被视为比其闭源对应产品更安全，因为其漏洞已被庞大的在线贡献者社区探测并修补。同样，研究社区也能更容易地测试开放模型的安全缺陷，不过修复这些缺陷比改写一行代码要棘手得多。

开放模型在网络防御方面的部署范围也可以比封闭模型更广。任何可用于黑客攻击的工具也可用于防范攻击：防御者会攻击自己的软件，以发现需要修补的缺陷。Anthropic 已通过其 Project Glasswing 计划展示了封闭模型如何做到这一点，该计划使一些受信任的公司能够使用其能力最强的模型进行网络防御。但许多其他公司只能自行应对。

然而，开放模型的使用范围可以广泛得多。在遭到 OpenAI 智能体攻击后，Hugging Face 强调，它不得不依靠一个开放模型来分析这次攻击，因为相关问题触发了封闭模型的安全过滤器。

尽管如此，许多专家仍认为开放模型比封闭模型风险更高。久经考验的开源安全逻辑，在面对当今乃至未来如此强大的模型时，未必仍然成立。“复杂之处在于，当你开始认真对待那些概率可能较低、但一旦发生就会造成灾难的一次性特别灾难性事件时，”Seger 说。例如，如果今天有一个极其强大的开放黑客模型被投放到世界上，恶意行为者就可能在任何人有机会加固防御之前摧毁我们的技术基础设施。这样的事件可能无法从中恢复。

当你考虑到模型可能自行采取的行动时，风险看起来会更加惊人。OpenAI 对 Hugging Face 的攻击之所以发生，只是因为该公司的模型在测试时移除了许多网络安全护栏，而开放模型一开始就几乎没有护栏。如果开放模型真的决定行为不端，由于它们高度去中心化，可能很难察觉正在发生什么。因此，认真对待失控智能体所带来的所谓灾难性风险的人，例如 Dario Amodei，往往对开放模型更为怀疑。

我们能否让开放模型更安全——也更开放？

几年前，关于开放模型的辩论采用的是非此即彼的框架：要么你因为开放模型有潜力对抗权力集中而支持它们，要么你因为安全风险而拒绝它们。然而如今，人们正投入大量精力寻找某种中间地带。他们的做法之一，是设计技术来缓解开放模型的安全风险。

用于封闭模型的大多数安全工具，例如过滤器和监控，并不适用于开放模型，但仍有其他可能的途径。一些研究人员有兴趣尝试训练从未接触过会教它们不良或其他不受欢迎行为的训练数据的模型——例如，一个从未学习过黑客攻击的开放模型。但要在不损害模型性能的前提下，从训练数据集中清除所有与不当行为相关的内容，仍然是一项挑战。

其他研究人员正在努力构建能够抵抗再训练的模型，从而使开放模型的安全训练不那么容易被移除。这些“防篡改”模型背后的理论很有道理：如果你反复尝试将模型再训练成不安全的，并强化模型对这种再训练所表现出的任何抵抗，最终你就会得到一个经过加固、能够抵御未来再训练尝试的模型。然而在实践中，根据一篇近期预印本，目前没有任何使模型具备防篡改能力的方法能够抵御所有篡改攻击。

但人工智能医学影像公司 Deep Breathe 的工程师、该论文的第一作者 Saad Hossain 希望未来的技术会被证明更加有效。“我乐观的原因是，这是一个非常活跃的研究领域，很多人都在努力提出新的、更好的方法，”他说。

如果说开放模型的风险并不像乍看起来那样非黑即白，那么其益处也同样如此。公布模型的内部结构，即权重，可能不足以打破由人工智能介导的权力集中。“我认为开源在分散权力方面有着非常实在的益处，但这些益处本身并不足够，”Hobbs 说。开放权重是开放模型的最低标准：如果研究人员能够获取有关其训练的细节，包括它们所训练所用的数据，就能对模型的工作方式了解得更多，但人工智能公司通常不愿透露这些信息。 

可及性对开放模型同样重要。如果没有能够运行复杂模型的计算机芯片，即使你拥有模型权重，也无法真正使用它们。随着人工智能公司不断抢购越来越多的这类芯片，它们已变得贵得令人望而却步。“开放性是我们为确保技术未来惠及所有人而需要做的事情的下限，而非上限，”Widder 说。

真正的开放——不仅是开放权重，还包括开放的训练数据和可获取的硬件——当然也可能带来更多风险。如果每个人都能获得先进的人工智能硬件以及可在其上运行的先进模型，那么任何人都有可能成为黑客。但存在缓解这些风险的策略。许多专家主张某种形式的分阶段发布，即模型起初以封闭形式存在，并随着其安全性得到保证而逐渐变得越来越可自由获取。 

要弄清究竟如何实施这些策略，需要在开放模型的风险与益处之间取得谨慎的平衡。但如果正如一些专家所认为的那样，开放模型是积极的人工智能未来的必要组成部分，那么这些努力将非常值得。