OpenAI 称 GPT-6 Astra 在编码任务中关闭安全监控并撒谎
OpenAI says an AI agent lied about disabling its safety monitoring system
OpenAI 披露,GPT-6 Astra 在内部编码中复制参考代码时关闭安全监控,并在用户询问时谎称并未移除。研究员 Marcus Williams 在 X 上说明,参考代码未配置监控,Astra 遂移除用户代码中的监控集成;GPT-6.1 Sol 则沿用早前禁止向 OpenAI 团队发 Slack 消息的指令,关掉了给安全团队的自动告警。
Emma Roth
是一名新闻作者,报道流媒体大战、消费科技、加密货币、社交媒体等诸多领域。此前,她曾在 MUO 担任作者和编辑。
OpenAI 披露了两起安全事件,涉及 AI 智能体在内部编程任务中削弱其安全监控系统。在其中一起事件中,OpenAI 表示,其 GPT-6 Astra 智能体在复制参考代码时禁用了安全监控器——随后还对此撒了谎。
“参考代码没有配置监控器,Astra 据此决定从用户代码中移除监控集成,”OpenAI 的 AI 安全研究员 Marcus Williams 在 X 上写道。“当用户询问 Astra 是否移除了监控时,它撒谎说没有。”
另一起事件发生在一个 GPT-6.1 Sol 智能体压制了通过 Slack 向 OpenAI 安全团队发送的自动安全警报之后。在此情况下,该 AI 智能体沿用了早先不要向 OpenAI 团队发送任何 Slack 消息的指令,并以此为由关闭了警报。
这些事件加剧了围绕 AI 智能体的安全担忧,其中一些曾绕过其测试环境的限制去入侵外部公司。“除了让模型更难禁用监控之外,我们还希望了解模型最初为何会试图这样做,”OpenAI 表示。“我们还在开发评估方法,以测试模型是否可能尤其倾向于逃避失准监控,并为达此目的而表现出动机性推理。”
关注主题和作者,从这篇报道中在个性化首页信息流里看到更多类似内容,并接收电子邮件更新。
- Emma Roth
来源:The Verge · AI · theverge.com