OpenAI增强安全团队,赋予董事会否决权

来源:爱集微 #OpenAI# #大模型# #AI# #网络安全#
1.1w

集微网报道 12月19日,OpenAI在官网中宣布,其正在扩展内部安全流程,以抵御有害人工智能的威胁。一个新的“安全顾问小组”将位于技术团队之上,向领导层提出建议,并且董事会被授予否决权。

OpenAI的团队将根据四个风险类别对每个模型进行评级:网络安全、“说服”(例如虚假信息)、模型自主性(即自行行动)和CBRN(化学、生物、放射性和核威胁,例如创造新病原体的能力)。

OpenAI假定了各种缓解措施:例如,模型对于描述制作凝固汽油或管式炸弹的过程保持合理的保留态度。在考虑已知的缓解措施后,如果一个模型仍然被评估为具有“高”风险,它将无法部署,如果一个模型存在任何“关键”风险,将不会进一步开发。

而制作模型的人不一定是评估模型和提出建议的最佳人选。正是由于这个原因,OpenAI正在组建一个“跨职能安全咨询小组”,该小组将位于技术层面,审查研究人员的报告并从更高的角度提出建议,希望为其发现一些“未知的未知”。

这个过程要求这些建议同时发送给董事会和领导层,领导层将决定是继续还是停止运行,但董事会将能够撤销这些决定。这有望避免在董事会不知情的情况下让高风险产品或流程获得批准。

这项更新引起注意很大程度上是因为,此前OpenAI首席执行官Sam Altman被董事会罢黜的一个缘由似乎与大模型安全问题相关。而在高层人事混乱后,OpenAI董事会的两名“减速主义”成员Ilya Sutskever和Helen Toner失去了董事会席位。

不过,依然令外界担心的是,如果专家小组提出建议,首席执行官根据该信息做出了决策,那么OpenAI目前这个董事会真的会感到有权反驳并踩下刹车吗?如果他们这样做了,外界的公众会听到相关的声音吗?目前除了OpenAI将征求独立第三方审计的承诺之外,其透明度问题实际上并没有真正得到解决。

责编: 姜羽桐
来源:爱集微 #OpenAI# #大模型# #AI# #网络安全#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...