OpenAI Whisper:高風險情況下報告出現幻覺

據報道,OpenAI 的 Whisper 模式在高風險情況下會「產生幻覺」。

太;博士

  • OpenAI 的 Whisper 轉錄工具會創造潛在危險的錯誤文字。
  • 儘管報告有錯誤,但 Whisper 仍被廣泛使用,包括在醫療保健行業。
  • OpenAI 建議不要在關鍵決策環境中使用 Whisper。

研究人員發現Whisper,OpenAI 的基於音訊的轉錄工具,有一種不幸的傾向,就是發明從未說過的事情,從而帶來潛在的危險後果。這是一份新報告所揭示的內容。

令人擔憂的“幻覺”

根據美聯社報道,人工智慧模型耳語發明了文本(這種現象通常稱為《幻覺》),從而創造出與所使用的訓練設備無關的荒唐郊遊。 Whisper 的錯誤可能包括種族評論、煽動暴力和奇特的醫療方法。

儘管有風險,仍需儘早採用

Whisper 已整合到某些版本中聊天GPT並且是雲端運算平台的內建功能微軟和甲骨文。儘管存在風險,醫療保健提供者仍開始採用這種工具來記錄患者與醫生的諮詢。 Whisper 的製造商聲稱該工具具有“接近人類的穩健性和精確度”,並已被 30,000 多名臨床醫生採用美國。然而,根據不同研究中發現的問題,研究人員警告不要採用這種做法。

潛在的嚴重後果

正如普林斯頓大學教授阿隆德拉·尼爾森指出的那樣,Whisper 的錯誤可能會產生“非常嚴重的後果”,尤其是在醫療保健領域。 「沒有人想要一個錯誤的診斷,」她說。因此有人呼籲 OpenAI 來解決這個問題。前員工 William Saunders 表示:“如果你把它放在那裡,而人們對它的功能過於自信,並將其整合到所有其他系統中,那就有問題了。”

儘管存在這些問題,公司仍在繼續開發人工智慧工具和程序,「幻覺」仍然是一個普遍存在的問題。關於來自的答案開放人工智慧對於幻覺,該公司建議不要在「決策環境中使用 Whisper,因為精度的失誤可能會導致結果出現明顯缺陷」。