发布日期:2024-08-03 14:54 点击次数:167
OpenAI正雄心勃勃筹划着下一代人工智能(AI)软件,但原安全团队的解散与核心成员的集体“跳船”连云港配资,也给这家AI“当红炸子鸡”企业拉响了安全警报。
当地时间28日,OpenAI首席执行官奥尔特曼(Sam Altman)领衔成立了该公司全新的安全委员会,监督系统的后续开发,原安全团队离开带来的隐忧和安全文化警报就此解除了吗?
“宫斗”表象平息,分歧并未弥合?
去年7月,OpenAI组建“超级对齐”团队,其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而,不到一年,该团队两位负责人本月相继出走,多位骨干成员主动辞职或被解雇,OpenAI也在本月中旬将这一团队彻底解散。
去年11月,奥尔特曼在所谓“高层内斗”中被董事会闪电解雇,又在短短数日后重返原职。而这场激烈变动的起因,被认为正是OpenAI内部对于AI安全性的巨大分歧。
OpenAI联合创始人兼首席科学家苏茨克维尔(Ilya Sutskever)是“超级对齐”团队的负责人之一,也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度,苏茨克维尔要谨慎得多,他认为,通用人工智能(AGI)的发展可能“会出现雪崩”,从而给人类社会带来不可控的毁灭性风险。因此,第一批AGI的底层信念将极其重要,“必须为其正确地编写程序”。
这场“高层内斗”后,奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月,OpenAI推出了支持将文本转化为视频的模型“Sora”,并在5月发布了新旗舰模型GPT-4o,它比去年11月发布的GPT-4 Turbo快两倍,在视觉和音频理解上也更先进。
苏茨克维尔在5月14日宣布离职时也一团和气地表示,OpenAI将在现任领导层的带领下,“打造出既安全又有益的AGI”。
但“超级对齐”团队的另一位负责人莱克 (Jan Leike)则没有这么客气。他在社交媒体平台上披露离职原因时称,他与OpenAI高层在什么是“核心优先事项”上存在分歧,并已到了不可弥合的临界点。
“我认为我们应该花更多精力在准备下一代模型上,注重安全、监控、准备、对抗性的稳健、(超级)对齐、保密、社会影响等相关问题。这些问题非常难以解决,我忧虑的是,我们并没有在达成这些目标的轨道上。”莱克称,“过去几个月,我们的团队遭遇到阻力,有时为了算力而挣扎,要完成这些关键研究越来越难。”
莱克写道:“OpenAI必须成为一家安全优先的AGI公司。”几天后,莱克宣布加入OpenAI的竞争对手Anthropic,领导一个新的“超级对齐”团队。
Anthropic首席执行官阿莫迪(Dario Amodei)也出身于OpenAI。据报道,由于无法认同后者越来越商业化的发展方向,他带领多位前OpenAI员工创办了现公司。
除了上述两位重量级人物,同样出走OpenAI的还有“超级对齐”团队成员桑德斯(William Saunders)、科科泰洛(Daniel Kokotajlo),负责对外沟通和社区建设的基尔帕特里克(Logan Kilpatrick),以及AI政策研究员克鲁格(Gretchen Krueger)和奥基夫(Cullen O’Keefe)等人。此外,超级对齐团队成员阿申布伦纳(Leopold Aschenbrenner)和伊兹迈洛夫(Pavel Izmailov)则因泄露信息给媒体记者而在4月份被解雇。
科科泰洛称,他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度,以及“谨慎使用自己的技术”。
安全文化和闪亮的产品
当地时间28日,OpenAI成立了新的安全与保障委员会,负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督,这一委员会由公司内部人员组成,包括奥尔特曼以及多位OpenAI董事会成员等。
OpenAI表示,该委员会将与OpenAI董事会全体成员分享其调查结果和建议,以供审查,届时将“以符合安全和保障的方式”公布任何被采纳建议的最新情况。
“OpenAI最近已经开始训练下一个前沿模型,我们预计由此产生的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。
去年11月,奥尔特曼在接受采访时表示,他的大部分时间都在研究“如何打造超级智能”,但该公司负责全球事务的副总裁马坎居(Anna Makanju)以及发言人布尔乔亚(Liz Bourgeois)之后都否认,该公司的“使命”并非开发超级智能,而是通用人工智能(AGI)。相比具有人类水平的AGI,超级智能是指超越人类智力水平的AI系统。
OpenAI在官网和创始公告中明确指出,公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着,一方面,AI技术必须是安全的;另一方面,AI技术带来的好处应该惠及所有人,而不仅仅是特定群体。
在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第一财经记者表示,OpenAI的企业发展进程不可避免地带来了这场“安全文化”之争。
Iris表示,最早期的OpenAI作为非营利组织成立,特别是在模型研发阶段,更多以技术创新为基础。“这一时期的OpenAI非常强调安全性,因此,苏茨克维尔这样技术背景出身的创始人话语权非常大。”她称,但随着技术的发展,当到产品市场匹配阶段,OpenAI更多开始考虑如何让这些技术惠及更多人。
Iris认为,这一阶段,“公司的发展将完全依赖于产品和业务的商业化,这意味着需要将产品更有效地推向市场”。
而这或许也是为什么莱克在其离职声明中写道:“在过去的几年里,安全文化和流程已经被闪亮的产品所取代。”
举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作者高雅
相关阅读 OpenAI再陷“宫斗”:理想主义者是如何被击碎的?随着OpenAI彻底告别伊利亚时代,奥特曼将继续完成当年未竟的野心。
昨天 19:39 人工智能首尔峰会召开,OpenAI等16家AI公司作出了什么安全承诺?“如果缓解措施无法将风险控制在阈值以下,则根本不开发或部署模型或系统。”
05-22 16:02 OpenAI首席科学家伊尔亚宣布离职,奥尔特曼:没有他就没有今天的OpenAI奥尔特曼同时宣布,雅库布将接替伊尔亚,成为OpenAI的首席科学家。
05-15 09:59 李开复谈大模型布局,十年内不套现李开复表示,创立零一万物时便向投资人承诺,10年内不套现,且最好的套现方式是“赶快上市”。
05-13 19:10 OpenAI澄清下周不会发布搜索引擎,业内仍质疑AI搜索引擎成熟度OpenAI暂时不会通过发布AI搜索引擎扩大用户人群连云港配资,一些AI搜索引擎发布后对市场格局冲击有限。
05-11 10:16 一财最热 点击关闭 上一篇:股票配资怎么操作 来凯医药-B(02105.HK)建议采纳股份奖励计划
下一篇:小散配资 深圳楼市新政落地 有购房者称省下来的钱去做生意︱一探