OpenAI解散另一支安全团队 AGI Readiness首席顾问辞职

来源:爱集微 #OpenAI#
1.7w

OpenAI正在解散其“AGI Readiness”团队,据该团队负责人称,该团队负责就OpenAI处理日益强大的人工智能(AI)的能力以及世界管理该技术的准备情况向公司提供建议。

近期,AGI Readiness高级顾问Miles Brundage通过Substack发文宣布离职。他写道,他离职的主要原因是机会成本太高,他认为自己的研究对外界更有影响力,他希望减少偏见,而且他已经完成了在OpenAI的初衷。

通用人工智能(Artificial General Intelligence,简称AGI)是人工智能的一个分支,追求在各种任务上与人类智力相当或超越人类智力的技术。AGI是一个备受争议的话题,一些领导者认为即将实现它,而一些人则认为它根本不可能实现。

Brundage在帖子中还写道:“无论是OpenAI还是其他前沿实验室都没有准备好,世界也没有准备好。”

Brundage说,他计划创办自己的非营利组织,或者加入现有的非营利组织,专注于人工智能政策研究和宣传。他说:“如果不齐心协力,人工智能就不可能尽可能地安全和有益。

根据Brundage的帖子,前AGI Readiness团队成员将被重新分配到其他团队

今年5月,OpenAI解散了其Superalignment团队——OpenAI称该团队专注于“科学和技术突破,以引导和控制比我们聪明得多的人工智能系统”,防止它们“失控”,这距离宣布成立该团队仅一年时间。

OpenAI的Superalignment团队于去年宣布成立,当时OpenAI表示将在四年内为该计划投入20%的计算能力。

今年5月,Superalignment团队负责人、OpenAI联合创始人Ilya Sutskever和Jan Leike宣布从这家初创公司离职后,该团队随即解散。

“我之所以加入,是因为我认为OpenAI将是世界上进行这项研究的最佳场所,”Leike在5月份在X上发布的帖子中写道,“然而,我与OpenAI领导层在公司核心优先事项上的分歧已经持续了相当长的一段时间,直到我们最终达到了一个爆发点。”

Leike写道,他认为公司更多的带宽应该集中在安全、监控、准备、安全和社会影响方面。

他当时写道:“这些问题相当难以解决,我担心我们并不在实现目标的轨道上。在过去的几个月里,我的团队一直在逆风航行。有时我们为计算资源而苦苦挣扎,要完成这项至关重要的研究越来越难。”

Leike还说,OpenAI必须成为一家“安全第一的AGI公司”。

AGI Readiness团队解散的消息传出之前,OpenAI董事会可能计划将公司重组为营利性企业,首席技术官Mira Murati、首席研究官Bob McGrew和研究副总裁Barret Zoph三位高管在9月份同一天宣布离职。

10月初,OpenAI以1570亿美元的估值完成了一轮融资,其中包括该公司从众多投资公司和大型科技公司筹集的66亿美元。它还获得了40亿美元的循环信贷额度,使其流动资金总额超过100亿美元。一位熟悉情况的人士称,该公司预计今年营收为37亿美元,亏损约50亿美元。

今年9月,OpenAI宣布其安全与安保委员会将成为独立的董事会监督委员会,该委员会于今年5月成立,负责处理有关安全流程的争议。该委员会最近结束了为期90天的审查,对OpenAI的流程和保障措施进行了评估,然后向董事会提出了建议。

高管离职和董事会变动的消息也是继今年夏天围绕OpenAI的安全问题和争议日益增多之后传出的,此时OpenAI与谷歌、微软、Meta和其他公司正处于生成式人工智能军备竞赛的风口浪尖——据预测,这个市场将在十年内达到1万亿美元的营收规模——因为各行各业的公司似乎都急于增加人工智能聊天机器人和代理,以避免被竞争对手甩在身后。

知情人士当时证实,今年7月,OpenAI将其最高安全主管之一Aleksander Madry调任到一个专注于人工智能推理的岗位。

根据Madry的简历,Madry曾是OpenAI的准备工作负责人,该团队的“任务是跟踪、评估、预测和帮助防范与前沿人工智能模型相关的灾难性风险”。OpenAI当时表示,Madry在新岗位上仍将从事核心的人工智能安全工作。(校对/孙乐)

责编: 李梅
来源:爱集微 #OpenAI#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...