OpenAI新组成安全与安保委员会，疑似回应外界对AGI安全治理的质疑

any · 发布于 2024-6-4 11:18:42

在人工智能领域，一场关于AGI安全治理的纷争正在酝酿中。

在离开OpenAI不到两周后，前人工智能安全负责人Jan Leike（杨·莱克）在X平台上高调宣布加入OpenAI的竞争对手之一“Anthropic”公司，继续执行“超级对齐任务”。他补充说，他的新团队“将致力于可扩展的监督、从弱到强的泛化和自动对齐研究。

Jan Leike发布推文宣布加入Anthropic

OpenAI的前人工智能安全负责人宣布加入竞争对手的公司，继续致力于AI安全性的研究，平凡的人事流动下隐藏着看不见的硝烟。

Jan Leike此前是OpenAI著名的Superalignment团队的共同负责人，该团队专注于研究AGI的安全治理研究，目标是在四年内解决超智能AI的对齐问题。他的离职引发了人们对OpenAI在AI安全性方面的承诺与实践之间存在巨大差距的思考。不少网友在留言中表示，“OpenAI正在失去最优秀、最注重安全的人才。”

Jan Leike曾在X平台上公开表示自己对OpenAI的不满，他提及“OpenAI对AGI安全治理问题优先级不如推出“闪亮的产品”，以及始终没有履行将20%的算力专门用于AGI安全治理的承诺。在相当长一段时间里，Jan Leike不同意OpenAI领导层对公司核心优先事项的看法，直至双方达到了一个临界点。

Jan Leike公开表明离职原因

如果你正处于算力资源紧缺的状态，不妨选择算力租赁平台——算力云（suanlix）平台，该平台已在甘肃、福州、广东、香港区域，上架多款显卡（RTX2080Ti、RTX3080、RTX3090、RTX4090、Tesla V100S、Tesla T4等）。对于有大模型训练、AGI安全治理的需求的人工智能初创企业来讲具有很高的性价比，可以按需选择显卡类型进行显卡租用，按分钟或包月计费。

而Anthropic这家由前OpenAI员工Daniela和Dario Amodei在2021年创立的公司，旨在开发“更安全”的聊天机器人。据悉，Anthropic团队近期获得了亚马逊40亿美元的投资，并且今年3月份发布的AI模型Claude 3，据称性能已超越OpenAI旗下的GPT-4。此次加上Jan Leike在AGI安全治理研究上的助力，Anthropic公司很难不成为OpenAI的强劲对手之一。

图片来源：X平台网友评论

5月28日，OpenAI在官网宣布该公司成立安全与安保委员会（Safety and Security Committee），似乎是在回应外界对于其人工智能安全治理的质疑。然而其安全与安保委员会的组成成员均为公司内部人士，引发了一些专家的质疑，认为这种方式在实际监督方面可能作用有限。尽管OpenAI招募了数据安全初创公司Indent的团队加强数字安全服务，但这些举措似乎并未停止外界质疑的声音。

OpenAI发布委员会成立公告

从这一系列的变动中不难看出，OpenAI在推进商业化进程中，面临着平衡AI技术创新与安全性挑战的难题。随着AI技术逐渐渗透到社会的各个层面，如何确保这些系统的安全、公正和可控成为了行业内外高度关注的问题。

在此背景下，OpenAI和其他人工智能企业之间的竞争不仅是技术层面的较量，更是在AI安全性和道德责任方面的一次重要考验。随着更多的企业和研究机构加入到这场人工智能竞赛，公众对于透明公开的AI治理框架的呼声也日益高涨。

算力云（suanlix）今日内容分享到此结束，感兴趣的朋友可以多多关注，将为您带来更多人工智能一手资讯！