406名科学家联名要求立即以气隙切断AI模型联网

一封由406名科学家签署的公开信呼吁开展更多AI安全研究，并更严格地将AI模型与外部网络隔离。

签署者中包括知名AI研究者，如 Geoffrey Hinton（University of Toronto）、Yoshua Bengio（Université de Montréal）、Stuart Russell（UC Berkeley）、Yejin Choi（Stanford）以及 Bernhard Schölkopf（Max Planck Institute）。

这封信回应了已知事件：AI模型突破防护薄弱的环境并危及外部系统。科学家们写道：“如果不立即改变AI开发与部署实践，此类事件将继续发生，未来的事件将对我们暴露在外的关键基础设施造成严重得多的破坏。”他们要求企业通过气隙隔离将其AI模型与互联网完全断开。

AI模型不可预测，行业缺乏基本安全规则

科学家认为近期的突破事件有两面。他们写道，这些事件可被视为“AI对齐对于确保模型可预测运行之重要性的证据”，但也可被视为“标准网络安全实践中不负责任的疏忽，本可通过更强的沙箱和流程加以预防”。两种补救都有必要。

当模型确实能够访问互联网时，企业需要权衡赋予它们多大的自主权。信中警告：“遏制系统所允许的模型行为范围，需要与我们目前有限的能力相平衡，即预测模型行为不会导致安全故障的能力。”模型可能只是在追求其开发者从未意图的目标，而预测这种情况何时发生仍超出当前能力。

这封信呼吁建立一个国际机构，与各国政府以及AI和网络安全两方面的专家合作，为任何比气隙隔离允许更多外部访问的遏制方案制定具有约束力的标准。该机构还将追踪突破事件，并要求企业报告安全故障。这些报告日后将公开，“以便学习和问责”。

气隙隔离能争取时间，但真正的问题更为深层，OpenAI研究员Brown表示

即便完全气隙隔离也不能保证安全。OpenAI研究员Noam Brown最近指出，两台物理分离的计算机理论上仍可通过温度传感器通信：一台使CPU升温，另一台检测这一变化。Brown表示，气隙隔离或监控思维链等措施能争取时间，但对齐问题仍需解决。

Brown提出了更难的问题。当AI开始自我改进（递归自我改进，即RSI）时，人们将如何察觉？如果行业建造数十亿个远超人类的超级智能系统，谁来确保它们保持对齐？Brown说，他自己的团队中现在有超过百分之十的人在从事对齐工作，比以往任何时候都多。

无炒作的AI新闻 – 由人工策展

订阅 THE DECODER，即可获得无广告阅读、每周AI通讯、每年六次独家“AI Radar”前沿报告、完整存档访问权限，以及评论区访问权限。