一種新的語音人工智慧工具已用於偽造名人的聲音

ElevenLabs 的人工智慧語音克隆工具已經被濫用。該公司目前正在考慮如何防止這種濫用行為。

幾天前，這家新創公司專門從事人工智慧聲樂十一實驗室推出了其平台的測試版，允許用戶創建全新的文字轉語音合成聲音或複製某人的聲音。不幸的是，只花了幾天時間網際網路開始惡意使用該工具。該公司透露嘰嘰喳喳注意到“越來越多的聲音克隆濫用案件”，並正在考慮透過“實施額外的保障措施”來解決問題的方法。

ElevenLabs AI 語音克隆工具已被濫用

儘管ElevenLabs尚未澄清「濫用案例」的含義，主機板在 4chan 上發現的帖子中包含生成的聲音的音訊剪輯，聽起來很像名人在閱讀或說一些非常可疑的事情。例如，其中一個發出的聲音類似於艾瑪·華森誰會閱讀摘錄我的戰鬥。用戶還發布了含有恐同、恐變性、暴力或種族主義言論的片段。沒有人知道所有這些剪輯是否實際上都使用了 ElevenLabs 技術，但 4chan 上一篇包含大量音訊檔案的貼文包含了該新創公司平台的連結。

「深度偽造」音訊的出現也許並不令人意外，畢竟幾年前我們就能夠觀察到類似的現象。人工智慧和機器學習的進步導致影片數量增加深度偽造，特別是色情內容中的深度偽造，現有的色情內容被修改為以名人的臉為特色。是的，有些人甚至在此類影片中使用了艾瑪華森的臉。