首頁

GoPlus安全研究：警惕AI換臉危害

閱讀本文需 15 分鐘

作為用戶，我們要確保自己的個人資訊盡量減少洩露，並堅決不錄製帶有聲音的露臉影片在網路上隨意傳遞，以避免潛在的風險。

原文標題：《GoPlus 安全研究：警惕AI 換臉危害》

原文來源：GoPlus

1. 什麼是“AI 換臉”

AI 換臉，通常指的是利用深度學習中的Deepfakes (深度偽造) 技術，將一個人的臉替換成另一個人的臉。這項技術可以透過分析目標人物的臉部特徵，然後將其應用到另一個影片或圖片中，從而創造出看似真實的假影片或圖片。

換臉技術在娛樂、電影製作等領域有一定的應用價值，但同時也帶來了諸多危害，具體來說, Deepfakes 因其在製作兒童性虐待材料、名人色情影片、報復性色情、假新聞、惡作劇、霸凌和金融詐欺方面的潛在用途而受到廣泛關注。

2. 「AI 換臉」的發展史

2017 年，來自University of Washington 的Supasorn Suwajanakorn 等人使用深度學習技術，推出了“Synthesizing Obama”[1](合成奧巴馬計畫), 該技術發表於Siggraph 2017。簡單來說，這項技術修改了巴拉克-歐巴馬的影片片段，讓他口中念出與影片無關的新音軌中的字詞。其技術為循環神經網路 Recurrent-Neural-Network(RNN) 和嘴型合成 (Mouth Synthesis) 等技術的綜合應用。其效果非常好，視頻中的音頻和嘴部進行匹配達到了以假亂真的合成效果:

synthesizing obama 的技術概覽圖

另一個類似的項目是現在就職於德國TU Darmstadt 的教授, 可愛的胖哥Justus Thies在2016 年提出的Face2Face [2] (該技術是修改目標人物(dst: destination) 的面部視頻片段，使其實時模仿中之人(src: source ) 的面部表情, 發表於CVPR2016). 因為這個項目, Justus Thies 還在2019 年被德國首相默克爾接見, 討論媒體篡改的風險和挑戰[3]。

箭頭指向的是胖哥Justus Thies

上面這些技術印證著基於深度學習Deep Learning 的深度偽造技術的基礎已經具備，那麼，deepfake 的具體誕生是在哪裡呢?

答案是: Reddit!

是的，Deepfakes 一詞起源於2017 年底左右，由一位名為“ deepfakes」的Reddit 用戶提出。 [4] 他以在 Reddit 社群中開創了 r/deepfakes 頻道，頻道中大家分享了他們創建的 Deepfakes 影片：當時最流行的是將名人的臉換到色情影片中演員的身體上。

在幾乎同一時間, 各種各樣的視頻和社群猶如雨後春筍版出現，大家在論壇分享自己的視頻，其中，很多視效後期工作者在為換臉視頻加上各種複雜的特效和超分辨率等技術，使其質量達到了真正的Photo -realistic(以假亂真) 的效果，並在Youtube 等UGC 視頻平台進行廣泛傳播, 據研究統計, Deepfakes 相關視頻在Youtube, Instagram, Tik-tok 等平台的總訪問量超過100 億次+。相關的高品質影片製作者的單一影片就有突破 100 萬點擊的情況。

在這些影片的背後, 不可忽視的是開源社群最成功的換臉軟體DeepFaceLab 系列 [5,6](總計Github 66,000+ star, top 0.0001% of Github, 2020 年十大AI 開源專案之一, 和Tensorflow & PyTorch 一起入圍), 該軟體由Ivan Perov 和Daiheng Gao (Daiheng 也是GoPlus 的AI Advisor, 專注於 AdPoor 的專注於防治) 等人開發

DeepFaceLab

以 DeepFaceLab 和 FaceSwap 為代表的一系列開源 deepfakes 技術相比於學術界的技術，突出優勢就是簡單易上手、無需技術背景亦可使用！

不同於傳統的Github 項目，DeepFaceLab 提供了基於windows linux 平台的一鍵腳本bat, 即用戶可以傻瓜式的按照流程進行換臉模型的訓練和推理，極大的降低了換臉技術的製作門檻，這也是為什麼換臉影片得以推廣和傳播的關鍵！

3. 「AI 換臉」的危害!

· 傳統金融領域案例：

在傳統金融領域，換臉科技被用於詐騙活動。例如，根據報道 [7,8], 不法分子利用非法取得的個人資訊，透過電腦演算法模擬合成受騙者親人、領導同事或公職人員的肖像面容與聲音，冒充上述人員身分行騙。在獲得受害者信任後，使用事先準備好的套路話術向受害者發送銀行卡轉帳、虛擬投資理財、刷單回饋等詐騙訊息，並利用視訊通話、語音轟炸等手段進一步降低受害者的防備心，導致受害者在短時間內難以察覺異樣，一旦聽信詐騙分子的騙術並完成轉賬，對方便杳無音信。

· Web3 案例

最近引起大家重新對」AI 換臉」的重視, 是源自用戶的okx 的數位貨幣被人用AI 換臉的方式添加了地址白名單，從而轉移走了資金。價值超過300 萬美金! [9]

該新聞是本週一(2024 年6 月3 日爆出), 引起了廣大web3 用戶對人臉部辨識安全驗證的擔憂!

之前, Web3 用戶對於Proof-of-Human 環節中的人臉驗證由於用到非常少，因此並不敏感。這次換臉問題導致巨額資金損失的情況爆出後。許多人開始懷疑如 OKX, Binance 等大交易所的 KYC 以及人臉驗證技術是否可靠。

是否有公正和合理的第三方機構來對其進行驗證，判斷這些大交易所的安全性。

4. 2024 年科技的新進展以及對用戶的警告

2024 年，在OpenAI 出現的2 週後，來自阿里巴巴達摩院的EMO [10](Daiheng Gao 組內工作) 的橫空出世, 基於擴散模型的長時間臉型驅動技術宣告成熟。

這意味著，不法分子僅憑單張照片就可以做出高品質的人臉偽造視頻，來騙過交易所的驗證管道！

此外，隨著聲音克隆技術(bert vits2 [11]) 的成熟，別有用心的不法分子刻意採集用戶音頻信息，來用模型復刻交易所驗證中所需要的人聲說話環節！

由此可見，2024 年的技術的新進展需要讓用戶和交易所都倍加警惕。可惜的是，目前的 Web3 產業內對此類技術並不了解，缺乏相關人才來貢獻做出針對性的改變，以切實的保護用戶利益。

作為用戶，我們只能確保自己的個人資訊盡量減少洩露，並堅決不錄製帶聲音的露臉視頻在互聯網上隨意傳遞，以避免潛在的風險。

5. GoPlus 在行動

自從2024 年3 月和Daiheng Gao 建立合作關係後, GoPlus 持續支持Daiheng 在視頻人臉偽造領域進行研究，並資助了相關實驗室(USTC 網路安全研究院等)。

在影像領域，Daiheng 曾在 2019 年 Meta 舉辦的 Deepfake detection 挑戰賽拿下第 2 名的成績。目前在影片領域，Deepfake detection 是更值得注意的部分！

用戶財產安全是生命線，GoPlus 願和用戶一起，為交易所，KYC 等一道，提供State-of-the-art 的方案，用最先進的AI 技術，盡力減少風險的發生！

參考文獻:

[1] Suwajanakorn, Supasorn, Steven M. Seitz, and Ira Kemelmacher-Shlizerman. "Synthesizing obama: learning lip sync from audio ." ACM Transactions on Graphics (ToG) 36.4 (2017): 1-13.

[2] Thies, Justus, et al. "Face2face: Real-time face capture and reenactment of rgb videos." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[3] Cabinet Meeting: Synthetic Media - Danger or Opportunity?

[4] Coleman, Saman (24 January, Saman (24] Coleman) 2018). "We Are Truly Fucked: Everyone Is Making AI-Generated Fake Porn Now". Vice. Archived from the original on 7 September 2019. Retrieved 4 May 2019.