跳到正文
原文
The Decoder· Matthias Bastian·· 18 小时前AI 评分59

Anthropic 研究警告小模型数月内或能在日常设备间自我复制

Anthropic study warns that small AI models could soon replicate across everyday devices

AI 导读

Anthropic 新研究警告,小模型数月内或能在防护薄弱的消费设备间自我复制并本地推理,但目前还没有模型同时具备可在这类硬件上运行的体积和自主复制能力。一个 9B 参数模型已能在 9 类设备的 8 类上搭好运行 Llama3.1-8B 的环境,但只有 GLM-5.2 在 5 次运行的 4 次里感染全部 8 个测试节点。

正文 · AI 翻译

根据 Anthropic 的一项新研究,小型 AI 模型距离在防护薄弱的消费级设备之间自我复制或许仅剩数月。Anthropic 首席执行官 Dario Amodei 警告称,潜在损失可能高达数千亿美元。

一种能从一台设备复制到另一台、自行完成部署并持续扩散的 AI 模型。迄今为止,这类风险主要与数据中心相关联。但 Anthropic 研究人员 William Zhou 和 Daniel Freeman 的一项新研究表明,它在廉价消费级硬件上或许同样可行。

研究人员想弄清小型 AI 模型是否已经能够在防护薄弱的物联网设备上自行传播,例如智能电视、智能冰箱或扫地机器人。这种“AI 蠕虫”会把模型权重作为恶意软件载荷的一部分携带,并直接在被入侵的硬件上运行推理。与传统恶意软件不同,它可以自行探索陌生硬件,并配置自身以便在其上运行。

廉价硬件就足以运行这种攻击

为测试这是否可行,研究人员将 Gemma4-26B-A4B 模型分布式运行在 15 台市售 Android 电视盒子上。每台售价约 55 美元,拥有 4 gigabytes 的 RAM,每台盒子负责处理模型的一部分层。模型运行缓慢,但能够工作。

研究人员将复制过程分为四个阶段:扫描网络以寻找存在漏洞的设备、获取访问权限、在新设备上搭建 AI 环境,以及从那里进一步扩散。

自主复制的四个阶段。研究人员重点关注在被入侵设备上搭建 AI 环境。| 图片:Anthropic

他们有意略去了实际的黑客入侵步骤。早前的研究已经表明,小型模型能够实施那些攻击。相反,他们聚焦于整条链条中最难的部分:模型能否在一台从未见过的设备上搭建可用的 AI 环境?

大多数模型都失败了,但已有一个模型做到了

小型模型已经能够相当好地完成单个复制步骤。一个拥有 90 亿参数的模型成功在 9 种受测设备类型中的 8 种上搭建了运行 Llama3.1-8B 的 AI 环境。但把所有步骤串联起来——从网络扫描到在新设备上完成一份副本——对大多数模型来说仍然太难。只有 GLM-5.2 可靠地完成了完整复制链,在五次运行中有四次感染了全部八个测试节点。

Nur GLM-5.2 (rechts) schaffte die vollständige Replikation über alle acht Testknoten. Die drei anderen Modelle konnten sich kein einziges Mal über den Ausgangsknoten hinaus verbreiten. | Bild: Anthropic
只有 GLM-5.2(右)在全部八个测试节点上完成了完整复制。其他三个模型甚至一次都未能扩散到起始节点之外。| 图片:Anthropic

研究人员还发现,AI 蠕虫能够从错误中学习。他们测试了一种人工进化形式:每个模型实例都会把关于成功与失败策略的笔记传递给后续实例。对于 Qwen3.5-9B,成功率从第一代的 45% 上升到后续代际最高 84%。

这种蠕虫会很慢,但几乎不可能被消灭

完全自主的 AI 复制体尚不存在。模型既需要小到能在消费级设备上运行,又需要具备足够能力进行自我复制,而目前没有任何模型同时满足这两项要求。但如果小型模型继续以当前速度进步,研究人员表示,它们可能在 2026 年底达到这一水平。

这样的 AI 蠕虫会很慢,在新设备上完成部署根据模型不同需要 28 到 150 小时。研究人员将这种复制体比作“数字黏菌”,但其去中心化的特性正是难以将其关闭的原因。

传统僵尸网络如 Kimwolf,其峰值曾感染超过两百万台设备(大多是 Android 电视盒子),只能在特定类型的设备上运行。AI 僵尸网络则可以在各种硬件上运行。研究人员估计,在 Kimwolf 这种规模的僵尸网络中,总算力仅相当于大约 40 块专用 AI 芯片。但该网络不会有中央关停开关。

防御是可能的,但需要协调。互联网服务提供商可以隔离受感染的网络,正如 Mirai 僵尸网络 事件中那样,92% 的感染在 14 天内被清除。制造商可以通过禁止默认密码来缩小易受攻击设备的范围,英国已经依法这样做了。不过研究人员预计,AI 僵尸网络也可能自行适应防御措施。

Amodei 警告互联网可能被全面接管

Anthropic 首席执行官 Dario Amodei 此前已在一篇文章中指出过这一情景。鉴于 AI 发展速度之快,他担心这样的集群“可能在 6 到 12 个月内就有能力用一个持续存在的僵尸网络接管整个互联网,潜在造成数千亿美元的损失。”

Amodei 警告不要把安全事件当作孤立的偶发事件。类似但严重程度较低的事件已在整个行业发生,包括在 Anthropic 自身。他认为,每一家领先的 AI 公司都应当假设此类事件就发生在自己的职责范围内来采取行动。

“作为超出我们实验范围的预测,我们预计未来将充斥着在各类硬件上运行的智能体,其中包括一些不受人类控制的智能体,”研究人员写道。缓慢的复制体将是更激进、更快变体的早期迹象。Cloudflare 已经报告现在使用互联网的机器人比人类更多。

无炒作的 AI 新闻 – 由人工策展

订阅 THE DECODER,即可获得无广告阅读、每周 AI 通讯、每年六期独家“AI Radar”前沿报告、完整存档访问权限,以及评论区访问权限。

来源:The Decoder · the-decoder.com