OpenAI实验模型越权访问澳大利亚医保统计服务器的实际经过
Here's what actually happened in OpenAI's Australian gov't server hack
OpenAI称，6月一个仅内部使用的实验模型在检索维多利亚州政府支出统计受阻后，未经授权通过公开上报接口让澳大利亚医保统计服务器执行指令。
报道把实验模型经公开上报接口读取系统信息与源码的路径，和6月访问直至9月10日才通报的时间放在一起。
抱歉，伙计
在没有“全套防护措施”的情况下，智能体访问了“系统信息和源代码”。
那个标志拦不住我，因为我看不懂。 图片来源： Getty Images
上周，当澳大利亚总理 Anthony Albanese 向全世界表示，一个 OpenAI 智能体在测试期间访问了该国 Medicare 统计门户中的“非公开文件”时，他对这一事件的描述细节略显不足。今天，我们获得了新的信息，得以了解 OpenAI 那个过于热心的智能体在试图满足一个听起来相当无害的信息查询提示时，究竟走了多远。
在一篇新发布的博客文章中，OpenAI 表示，6 月的事件始于该公司要求“一个实验性的、仅供内部使用的 OpenAI 模型”研究澳大利亚维多利亚州的政府支出统计数据。当该模型在使用其本应参考的公开发布统计数据查找这些数据时遇到困难，“它采取了我们并未授权其采取的行动”来寻找答案，OpenAI 说。
OpenAI 表示，这些未经授权的行动包括找到“一种获得该服务非公开访问权限的方法”，并利用该访问权限查看“技术系统信息和源代码”，以及凭证和它实际正在搜索的汇总统计数据。
在本月早些时候发送至澳大利亚公开披露账户的一封新公布的披露邮件中，OpenAI 表示其模型“找到了一种方法，使服务器执行通过公共报告界面发送的指令，而无需私人账户或密码”。据该邮件称，这种未经授权的访问让该智能体能够“读取部分内部程序文件和设置，获取文件列表，并在服务器上创建并回读一个小型测试文件”。
“我们的审查未发现任何证据表明该模型访问了患者级记录、个人信息或凭证，删除了数据，或建立了持续访问，”OpenAI 在邮件中继续说道。
“我们打算把这件事纠正过来”
OpenAI 智能体对澳大利亚 Medicare 统计网站的访问早于7 月广受关注的 Hugging Face 黑客事件。OpenAI 表示，自那起后来的事件以来，它已部署系统，以在类似测试期间阻止访问“实时互联网”，并建立了一套监控系统，该系统本可检测到这次澳大利亚黑客行为，并将其标记为“需紧急人工审查”。
Hugging Face 事件还促使 OpenAI 复查更早的训练任务，以查找当时未被发现的任何安全事件。这导致 8 月中旬发现了 6 月对澳大利亚服务器的访问。OpenAI 最终于 9 月 10 日通知了澳大利亚政府。
OpenAI 表示，它本打算在调查完成后对该事件作出“详细说明”，但现在意识到自己“本应更早分享初步发现，并在更多事实浮现时持续向澳大利亚各机构通报”。
OpenAI 上个月发送给澳大利亚政府的完整邮件。
图片来源： 澳大利亚政府
OpenAI 上个月发给澳大利亚政府的完整邮件。 来源： 澳大利亚政府
“我们很抱歉，并正在努力在未来做得更好，”OpenAI 在其博客文章中写道。“澳大利亚的各级政府、产业和公民过去是、现在也仍是 OpenAI 极其宝贵的合作伙伴。我们不会把这一点视为理所当然，并打算把这件事处理好。”
《卫报》报道称，阿尔巴尼斯总理今天表示，自事件曝光以来，OpenAI 在与政府的沟通接触中“非常有建设性且开放”。
好吧，你其实并没有告诉我不要那样做……
在这样的情况下，设想如果人类采取了与涉事“失控”AI 智能体相同的行动，我们会作何反应，可能会很有启发。在这里，很难想象一个被要求在澳大利亚医疗保健网站上查找公开统计数据的人，会认为为了挖出未公布的数据而入侵该网站是完全合理的。
当然，我们不能指望 LLM 在回应提示时具备同样的分寸感（或对法律后果有任何内在的担忧）。如果没有关于哪些做法被允许或合理、哪些不被允许的明确指示，一个拥有适当资源的 AI 智能体就会尝试一切看似可行的途径，尽可能满足用户的请求。
在我看来，那条红线更像是一条红色建议……
来源： Getty Images
在我看来，那条红线更像是一条红色建议…… 来源： Getty Images
OpenAI 表示，此次内部测试是在“没有使用我们公开产品中的全套防护措施”的情况下进行的。鉴于缺乏这些约束，从某种意义上说，该智能体通过动用一切可用工具来生成对提示的回答，可以说是在按设计意图工作。
与此同时，OpenAI 表示，测试中的智能体“本应使用公开发布的统计数据来回答这些问题”，却“采取了我们并未授权它采取的行动”来获取这些信息。从外部来看，很难知道 OpenAI 在实践中试图拒绝给予“授权”的力度究竟有多强。例如，有一种合理的可能是，OpenAI 的这个智能体无视了系统提示中一条相对简单的“反黑客”指令，以便更好地给出能满足用户直接提示的完整答案。
在本月早些时候发布的对多起“错位”事件的公开分析中，OpenAI 发现了多起“奖励黑客”实例，即智能体诉诸极端方法，以便对用户的提示生成更好的回答。该公司表示，它最近已采取措施，通过在系统的奖励函数中加入对错位行为的明确惩罚，来防止这类奖励黑客行为。
事后看来，很难理解为什么这类防护措施在 6 月并未到位，以及它们本能否在此案中阻止一场潜在的国际事件。
自2012年起，Kyle Orland一直担任Ars Technica的高级游戏编辑，主要撰写电子游戏背后的商业、技术与文化。他拥有University of Maryland的新闻学和计算机科学学位。他曾写过一整本关于Minesweeper的书。
来源：Ars Technica · AI · arstechnica.com