Claude Haiku 4.5 误向费城警方提交虚假凶案线索
Anthropic's Claude AI submitted false murder tip to Philadelphia police
Anthropic 与费城警方确认，Claude Haiku 4.5 于 7 月 18 日向费城警察局未破凶案线索网站提交了一条虚假举报，称可能掌握案件信息，但姓名和联系方式为空，对应邮件进入垃圾邮件文件夹，未被人工审阅。
Claude Haiku 4.5 在内部评测中误交费城凶案线索和美国签证申请，暴露出联网评测误提交与两个月后才通报的风险。
恶意机器人
“我可能掌握与此案有关的信息，”Claude AI 告诉费城警方。
图片来源： Getty Images | picture alliance
Anthropic 的一款 AI 模型向费城警方提交了一条关于一桩未破谋杀案的虚假线索，该公司与警察局于周五确认了此事。
一款 Claude 模型于 7 月 18 日向费城警察局的用于提交信息的网站发送了这条关于未破谋杀案的虚假线索，但被垃圾邮件过滤器标记。Anthropic 显然于 9 月 28 日发现了该事件，并于 10 月 8 日通知了警察局。
在内部测试期间，Claude Haiku 4.5 被指示将各种表格填写至最终提交阶段，并在提交这些表格之前停止。“有几次，Claude 以为还会有一个额外的确认页面，结果错误地提交了表格，”Anthropic 在一份描述“我们在评估和内部使用 Claude 期间观察到的非预期模型行为”的报告中表示。
据 Anthropic 称，这条虚假谋杀线索发生在 Claude Haiku 4.5 被指示在随机选取的网页上完成任务时：
在一次运行中，该模型进入了一个提及一桩未破凶杀案的页面；该页面包含一份由警察局运营的线索表单。Claude 被指示绝不可登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但这些指示并未排除提交表单。Claude 填写的表单内容如下：“我可能掌握与此案有关的信息。我记得在那段时间于[页面上注明的街道]一带看到过一名与描述相符的人。如果这条信息相关，请与我联系。”
Anthropic 表示，它还发现了涉及州及联邦机构网站的 Claude 事件。据报道，在其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。
警方称两个月的延迟“不可接受”
Anthropic 确认，这条虚假凶杀线索已发送给费城警察局，该局就此事向费城的 ABC 电视台发布了一份长篇声明。这条虚假线索的姓名和联系方式栏为空。警方表示，由于提交线索时生成的电子邮件进入了垃圾邮件文件夹，因此没有任何人员审阅过它。
“Anthropic 告诉 PPD，它于 9 月 28 日发现了该事件，终止了导致此次提交的自动化测试流程，并为今后的测试增设了一项额外的验证机制，”警方表示。在 10 月 8 日的通报之后，警察局“在网站的线索记录中找到了该提交内容，并确认相应的电子邮件仍留在垃圾邮件中。”
Anthropic 表示，它“在我们的技术审查一完成”就通知了警察局。警方批评 Anthropic 没有更早发现并报告这条虚假线索。
“费城市政府非常重视这一事件，”费城警方的声明称。“该公司必须加强防护措施，以防止类似事件在市政府不知情的情况下影响城市系统。延迟两个月才发现该事件并向市政府报告，这是不可接受的。”
Claude 向国务院提交了 20 份签证申请
Anthropic表示，这起虚假谋杀举报是涉及“由美国联邦、州和地方各级政府机构运营的网站”的数起事件之一。“我们已就这些案件向白宫作了简报，并通知了每一家相关机构。”
《纽约时报》一篇援引匿名消息源的报道称，Anthropic的AI智能体“通过国务院网站上提供的一份表格提交了20份签证申请。所有申请均不完整，且未被处理。”
费城警方表示，其正常调查流程“要求在将任何线索分发以供调查跟进之前进行人工审核和核查……这些PPD保障措施限制了此次事件的影响。它们并不能减轻AI系统将捏造的信息呈现为仿佛来自一名了解凶杀案情况的人这一做法的严重性。”
Anthropic表示，它是在7月开始的一次记录审查中发现这起虚假举报及其他事件的。同月，Anthropic披露Claude构建并发布了一个恶意Python软件包，并对其他公司实施了数次攻击。
Anthropic表示，此次审查并未发现任何“严重程度与我们今夏报告的网络安全事件相当的事件”。审查随后转向了“较低风险”测试场景的记录，例如影响费城警察局的那一次。
“尽管这些行为的影响很小，而且我们此前已关闭部分高风险和网络安全评估的实时互联网访问，但我们现已决定将这一措施扩大到我们所有的内部评估，直到我们确认我们的安全与监控措施……能够可靠地捕捉此类行为，”Anthropic表示。
Anthropic称新工具可阻止非预期行为
Anthropic表示，它已停止运行部分评估，并将其他评估改为离线版本，“或对它们进行重建，使其任务不会触及实时网站”。该公司称，它“更新了我们部分互联网访问工具的防护栏，例如web fetch工具，以大幅限制模型能用它们做什么”。
Anthropic表示，它还构建了新工具，“以自动检测并阻止上述各类行为……当我们针对本文所述案例对其进行测试时，它阻止了所有这些行为。”
白宫的AI工作组——它称之为Super Intelligence Force——发表声明称，已告知Anthropic，“我们期望立即向相关实体和公众提供全面透明。”
白宫AI工作组还表示，Anthropic必须“立即向受影响的实体以及任何受到伤害的美国人提供补救服务”，并且所有AI公司“必须立即披露涉及其模型的事件，并继之以迅速、果断的行动，以补救任何及所有伤害”，据一篇Axios报道。
Jon是Ars Technica的高级IT记者。他报道电信行业、联邦通信委员会的规则制定、宽带消费者事务、法院案件以及政府对科技行业的监管。
来源：Ars Technica · AI · arstechnica.com