Anthropic更新Claude使用政策，禁止持续虐待模型并收紧武器与监控限制

Anthropic 正在对其使用政策进行一年多来的首次修改，以反映新的高风险滥用情形——包括选举干预、武器研发、监控以及健康和金融用途。但其中最重大的变化之一，是禁止对 Claude 实施“持续且无必要的辱骂或残忍行为”。

去年8月，该公司宣布，作为其对“模型福祉”研究的一部分，将允许 Claude 结束与“持续有害或辱骂”用户的对话。新的更新称，终止对话仍是“主要执行机制”；Anthropic 未就是否还会有进一步的执行机制（例如可能的用户封禁）发表评论。Anthropic 写道，新的政策更新“仅适用于极端情况，即用户反复对我们的模型实施残忍行为，且没有可辨别的目的。它不适用于常见形式的用户挫败、反驳、黑暗创意主题，或模型测试与研究。”

除模型福祉方面的变化外，Anthropic 还将若干“分散”的现有限制汇总为一项针对欺骗性商业或政治宣传活动的新禁令，以应对日益严重的 AI 生成宣传问题。它限制“试图掩盖信息背后是谁，或通过虚假账号或帖子放大内容的行为”。其选举部分还禁止欺骗选民和扰乱选举，包括传播“关于候选人或如何投票的错误信息、冒充候选人或选举官员，或试图压制投票率”，Anthropic 写道。

终止对话仍是“主要执行机制”。

Anthropic 表示，尽管其使用政策一直公开禁止使用 Claude 进行武器研发，但公司已多次发现有人试图利用 Claude 为武器制定指导并开发控制软件——因此新的使用政策将禁令扩大至包括“使武器发挥作用的软件和组件，以及为无人机和其他自主载具装备武器等行为”。而且，由于公司上一份威胁情报报告表明，人们越来越多地使用由 Claude 驱动的监控来识别和追踪“政治异见人士”，公司已使其监控禁令更加明确。

“未经他人同意对其进行追踪是被禁止的，无论是实时进行，还是通过分析先前收集的数据，”Anthropic 写道。“Claude 不得被用于在执法或刑事司法程序中决定或建议调查、逮捕或起诉对象。我们还禁止将 Claude 用于构建或改进专为监控而设计的工具。”

Anthropic 表示，这些规则可能会因“与某些政府客户的合同……如果 Anthropic 判断，合同中的使用限制及适用的保障措施足以减轻潜在危害”而有所修改。该公司此前曾与美国军方签订合同。

Anthropic 已多次发现有人试图利用 Claude 为武器制定指导并开发控制软件。

Anthropic 还新增了一项规则：当 Anthropic 的 AI 模型“连接到会采取自主物理行动、并且可能造成伤害的硬件”时，“合格的操作员必须能够观察该设备，并在需要时将其停止。”（目前尚不清楚该操作员是否必须是人类。）这反映出 AI 实验室日益加大对机器人和其它硬件的投入，以赋予 AI 系统物理实体，也可能为 Anthropic 未来在该领域的合作提供线索。

过去一年里，Anthropic 多次暗示其 AI 模型在某种程度上可能具有意识。“关于潜在内在体验、意识、道德地位和福祉的问题，都是我们随着模型变得更加精密和强大而正在研究的严肃问题，”负责该公司模型福祉研究的 Kyle Fish 告诉 The Verge 于2月。同月，Anthropic 首席执行官 Dario Amodei 在一档 播客 中表示：“我们不知道这些模型是否具有意识。”

AI 行业的其他方面则明确反对这类想法。刚刚过去的9月，Microsoft AI 的行为准则因在 AI 福祉问题上采取坚定立场而成为头条，Mustafa Suleyman 发布的一份草案 写道：“模型福祉这一想法是错误的。AI 不应拥有权利或法律人格。”但在某个时候，该文件改成了更为克制的表述：“尽管关于 AI 意识的科学远未有定论……我们拒绝追求法律人格，也拒绝模型可能应获得福祉或有权享有权利的想法。”

关注话题和作者，从这篇报道中查看更多类似内容，以便出现在你的个性化首页信息流中并接收电子邮件更新。

• Hayden Field