OpenAI为其基金会董事会任命了一名美国政府高级官员 。该官员曾警告,如果没有建立更可靠的安全防护机制 ,高级版本人工智能可能造成“大多数人死亡”。
保罗・克里斯蒂亚诺任职于美国商务部人工智能标准与创新中心,负责模型安全测试。他周三在社交平台X上表示,人类失去对AI系统掌控的风险“当前已十分严峻 ”,需要开展更多工作 ,让AI与人类利益保持对齐。
在宣布就任OpenAI新职务时,他称:“如果我们在没有更强对齐机制的情况下打造超级智能,我预计我们将永久失去对它的控制 。一旦发生这种情况 ,大多数人可能会丧生。我认为,我们需要国内与世界 层面协同行动,确保全球标准统一 ,并把风险降低至可接受水平。”
克里斯蒂亚诺此前担任Caisi的AI安全负责人 。他设计并主持政府对头部企业前沿AI模型的测试,评估相关模型带来的国家安全风险。
就在此次任命之前,OpenAI遭到外界批评:其AI智能体对AI模型与数据托管初创公司Hugging Face发起网络攻击。从硅谷到华盛顿的一众有影响力人士(包括白宫顾问戴维・萨克斯、Meta首席执行官马克・扎克伯格)都警示 ,前沿AI实验室可能出现监管俘获问题 。
这家总部位于旧金山的公司周三表示,克里斯蒂亚诺仍将担任Caisi高级技术顾问,但会回避所有涉及OpenAI的事务 ,包括对OpenAI模型的评估工作。
OpenAI补充道:“保罗能够为OpenAI核心使命相关的治理决策,带来独特且具备扎实技术支撑的视角。”
克里斯蒂亚诺将任职于掌控OpenAI营利业务的非营利基金会董事会,同时担任观察员 。
克里斯蒂亚诺在任职公告中写道:“我现在认为,AI能力快速迭代 ,存在不小风险,可能在短期内引发灾难性 、不可逆的失控局面。”
他还说:“我认为包括OpenAI在内的整个AI行业,近来 并没有走上将该风险降至可接受水平的轨道。我加入 ,是因为我相信如果OpenAI能够直面挑战,我们可以大幅降低风险 。 ”