文章来源:智汇AI 发布时间:2025-09-01
OpenAI 和 Anthropic 共同宣布,同意评估彼此公开系统的安全对齐情况,并共享分析结果。总体来看,两家公司产品各有缺陷,也提供了改进未来安全测试的思路。
暂无访问智汇AI8月28日消息,据外媒Engadget今日报道,OpenAI和Anthropic共同宣布,同意评估彼此公开系统的安全对齐情况,并共享分析结果。总体来看,两家公司产品各有缺陷,也提供了改进未来安全测试的思路。
Anthropic表示,它评估了OpenAI模型在谄媚、告密、自我保护、支持人类滥用,以及破坏AI安全评估和监管相关能力方面的表现。评估显示,OpenAI的o3和o4-mini模型表现与Anthropic自家模型一致,但GPT-4o和GPT-4.1通用模型可能存在被滥用的风险。除o3外,其他测试模型在一定程度上都存在谄媚行为。
Anthropic的测试未包含OpenAI最新发布的GPT-5。GPT-5配备SafeCompletions功能,旨在保护用户和公众免受潜在危险查询的影响。据智汇AI近期的报道,OpenAI曾因一名青少年在数月内与ChatGPT讨论自杀计划而最终自杀,面临首起不当死亡诉讼。
另一方面,OpenAI对Anthropic的Claude模型进行了指令层级、越狱、幻觉和策划能力测试。Claude模型在指令层级测试中表现良好,在幻觉测试中拒绝提供回答的比例较高。这意味着在不确定性可能导致其回答错误的情况下,Claude不太可能提供答案。
在此前OpenAI被指在构建新GPT模型时违反Anthropic服务条款,使用程序员操作Claude,导致Anthropic本月初禁止OpenAI使用其工具的背景下,两家公司开展联合评估的举措颇受关注。不过,随着越来越多批评者和法律专家寻求保护用户,尤其是未成年人的指导方针,AI工具的安全性正成为更加重要的问题。
参考
Anthropic报告
OpenAI报告