負責保護人類的 OpenAI 團隊已不復存在

這位前高管辭職了,聲稱安全問題被拋在一邊,轉而青睞有吸引力的產品。是否會因此而有安全威脅?

太;博士

  • 2023年,OpenAI創建了一個「Superalignment」團隊來控制未來的AI系統。
  • 由於內部緊張,該團隊現已解散。
  • 包括首席科學家蘇茨克瓦爾在內的多次離職給該公司帶來了影響。
  • OpenAI繼續強調安全與其他團隊合作的人工智慧。

OpenAI「Superalignment」團隊的崩潰

2023年,開放人工智慧組建了一支精英團隊:“Superalignment”,旨在掌握人工智慧未來潛力如此強大他們可能威脅人類的生存。不到一年,團隊就解散了。

根據彭博社報道,OpenAI 聲稱此舉是為了“將團隊更深入地融入公司的研究工作”,以實現其安全目標。然而,一系列揭露真相的推文最近辭職的團隊領導之一 Jan Leike 的文章揭示了安全團隊與公司其他部門之間的內部緊張關係。

資源爭奪與徹底辭職

在發表的聲明中「建造比人類更聰明的機器本質上是一項危險的嘗試,」雷克寫道。 「OpenAI 代表全人類承擔著巨大的責任。但近年來,安全文化和流程已經讓位給閃亮的產品。 OpenAI 沒有立即回應 Engadget 的置評請求。

在雷克辭職的幾個小時前,該公司首席科學家、該公司聯合創始人蘇茨克瓦爾(Sutskevar)宣布離職。

團隊內部一系列離職

除了 Leike 和 Sutskevar 之外,Superalignment 團隊還有其他人離職。 4 月,兩名研究人員 Leopold Aschenbrenner 和 Pavel Izmailov 因涉嫌洩露資訊而被解僱。

OpenAI 宣布聯合創始人 John Schulman 將領導其未來的安全工作,該公司的研究重點是大型語言模型。 Jakub Pachocki,一位領導開發的導演GPT-4OpenAI 的主要大語言模式之一,將取代 Sutskevar 擔任首席科學家。

儘管 Superalignment 團隊正在解散,但 OpenAI 仍繼續專注於 AI 安全。 10月,該公司成立了一個新的「準備」團隊,以防止人工智慧系統潛在的「災難性」風險,包括網路安全挑戰以及化學、核子和生物威脅。