正文共：3678-46圖

預(yù)計(jì)閱讀時(shí)間：10分鐘

還記得小編曾經(jīng)給大家講過(guò)通過(guò)瞳孔暴露住處、剪刀手暴露指紋的案例嗎？（警告！你的照片正在偷偷暴露你的秘密……）照片中可以隱藏大量的細(xì)節(jié)，甚至個(gè)人敏感信息。但事實(shí)上，照片中的信息也并非都是真實(shí)的。

圖源：攝圖網(wǎng)可商用圖片

比如以下兩張圖中的小哥，猜猜是不是真人？別著急說(shuō)出答案，可以先看完本文的Tips再作答~

隨著科學(xué)技術(shù)的發(fā)展，小編感覺(jué)現(xiàn)在的各種美顏瘦臉、AI換臉技術(shù)是越來(lái)越牛掰了。比如下圖這種，根本讓人看不出是真是假——

Radford 等人的“無(wú)監(jiān)督表示學(xué)習(xí)與深度卷積生成對(duì)抗網(wǎng)絡(luò)”（2014 年），也稱(chēng)為 DCGAN。

不好意思放錯(cuò)了，這是2014 年由機(jī)器學(xué)習(xí)研究員 IanGoodfellow 引入的生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks 或稱(chēng)為GANs），因?yàn)閷儆谠缙诘腉AN 圖像，所以還是能看出來(lái)有一些不和諧，很容易被人類(lèi)識(shí)別。

“Generative”是因?yàn)樗鼈冚敵鰣D像之類(lèi)的東西，而不是對(duì)輸入的預(yù)測(cè)（例如“是否熱狗”）；“adversarialnetworks”（ “對(duì)抗性網(wǎng)絡(luò)”）是指它們使用兩個(gè)神經(jīng)網(wǎng)絡(luò)在“貓捉老鼠的游戲”中相互競(jìng)爭(zhēng)，就像收銀員和造假者一樣：一個(gè)試圖欺騙對(duì)方認(rèn)為它可以生成真實(shí)的例子，另一個(gè)試圖區(qū)分真假。

但后來(lái)的GAN圖像確實(shí)真的越來(lái)越能以假亂真了。

GAN首發(fā)一年后“AStyle-Based Generator Architecture for GANs”生成的人臉

Karras 等人的“ProgressiveGrowing of GANs for Improvement Quality, Stability, and Variation”（2017 年），也稱(chēng)為 PGAN 或 ProGAN。

AMAZING！是不是很難看出真假？

那究竟如何識(shí)別這些AI 生成的“假”圖像呢？別著急，小編教你找找GAN圖像主動(dòng)露出的“馬腳”。

從“頭”看起——頭發(fā)的端倪

AI生成的圖像，一般可以較為精細(xì)地處理人體的其他器官和部位，但對(duì)于頭發(fā)的處理漏洞往往就會(huì)多一些。畢竟人的發(fā)型有很多的可變性，也有很多的細(xì)節(jié)，這使它成為 GAN 最難捕捉的細(xì)節(jié)之一。

你會(huì)看到“假”照片中的人物頂著像油漆刷出來(lái)的不自然的假發(fā)，僵硬、缺少?gòu)澢《取?/span>

直發(fā)看起來(lái)像油漆

可以說(shuō)看頭發(fā)是識(shí)別 GAN 生成的“假”圖像最快的方法之一?？催@些束成一團(tuán)的頭發(fā)、在肩膀周?chē)a(chǎn)生隨機(jī)的頭發(fā)，以及在前額上散落濃密的頭發(fā)。

或者類(lèi)似下圖這樣像P圖失敗的“拼接”頭發(fā)。

“超現(xiàn)實(shí)”的背景和繪畫(huà)渲染

GAN 中的人臉看起來(lái)可信的原因之一是所有訓(xùn)練數(shù)據(jù)都已居中。這意味著 GAN 建模時(shí)的可變性較小，例如，在眼睛和耳朵的放置和渲染方面。

另一方面，由于實(shí)際背景可以包含的內(nèi)容太多，GAN往往只能復(fù)制一般的背景紋理，而不能很好處理“真實(shí)”的背景場(chǎng)景。

所以還會(huì)出現(xiàn)以下這樣的詭異情況，比如照片中出現(xiàn)奇怪的“人物”，比如背景看起來(lái)像撕碎的一樣。

如果背景中有文字，就更容易出現(xiàn)bug了——在人臉數(shù)據(jù)中訓(xùn)練出來(lái)的GAN 很難在具有大量結(jié)構(gòu)的背景中捕捉其他樣本比較罕見(jiàn)的事物。

此外，GAN 會(huì)同時(shí)顯示訓(xùn)練數(shù)據(jù)的原始版本和鏡像版本，這意味著它們?cè)诮＞帉?xiě)方面存在通常只有一個(gè)方向的問(wèn)題。

文字無(wú)法辨認(rèn)

繪畫(huà)渲染（Painterly rendering）：這幅圖像具有不尋常的水彩美感。在之前的工作中，他們使用了超分辨率網(wǎng)絡(luò)對(duì)訓(xùn)練圖像進(jìn)行預(yù)處理。如果在這里還是使用了相同的系統(tǒng)，在“簡(jiǎn)單粗暴”的復(fù)制后，這個(gè)地方就會(huì)變成顏色鮮艷的襯衫的變體。

不對(duì)稱(chēng)的臉

注意我們此處提到的不對(duì)稱(chēng)并不是指的人臉本身的特征，而是GAN圖像中慣常發(fā)生的“bug”。

由于GAN 可能很難管理圖像中的長(zhǎng)距離依賴(lài)關(guān)系。雖然耳環(huán)等配對(duì)配件通常在數(shù)據(jù)集中匹配，但它們?cè)谏傻膱D像中并不匹配；

人的眼睛通常應(yīng)該指向同一個(gè)方向，并且是相同的顏色，但是在生成的圖像中卻有很多交叉眼和異色。另外還會(huì)出現(xiàn)高度或大小非常不匹配的不對(duì)稱(chēng)的耳朵。

中間是數(shù)據(jù)集中的“平均人臉”，基于來(lái)自世界各地的 Flickr 用戶(hù)的 7 萬(wàn)張照片，右耳（圖像左側(cè)）似乎有耳環(huán)，但左耳沒(méi)有；右圖左右耳明顯不一樣大。

失蹤的耳環(huán)——如下面這三張圖片，耳環(huán)“缺失”幾乎出現(xiàn)在圖像中完全相同的位置。這可能是神經(jīng)網(wǎng)絡(luò)試圖嘗試生成耳環(huán)，但卻失敗了。

因?yàn)樗鼈兌紒?lái)自同一個(gè)“源”圖像，有一種可能是，當(dāng)與顯示女性面孔的“中間風(fēng)格”混合時(shí)，耳環(huán)出現(xiàn)在了這個(gè)位置。但也可能不是，因?yàn)槠渌氖纠谕耆煌奈恢靡诧@示了跨多個(gè)圖像的類(lèi)似故障。

除了左右耳的不同耳環(huán)以外，還要注意不對(duì)稱(chēng)的眼鏡（通?？蚣軙?huì)左、右側(cè)“自成風(fēng)格”，有時(shí)候框架會(huì)彎曲或變成鋸齒狀）、面部毛發(fā)的不對(duì)稱(chēng)以及左右兩側(cè)不同形式的領(lǐng)子或織物等。

奇怪的牙齒

GAN 可以組裝一般場(chǎng)景，但目前在處理牙齒等半規(guī)則重復(fù)細(xì)節(jié)方面存在困難，即牙齒容易被渲染成各種奇怪的或不對(duì)稱(chēng)的形狀，或產(chǎn)生錯(cuò)位，以不尋常的方式拉伸或收縮每顆牙齒。

如上圖，一顆牙齒中間有一個(gè)空隙。在某些情況下，甚至?xí)白儭背鋈w門(mén)牙，如下面的最后一張照片所示。

這個(gè)問(wèn)題也同樣出現(xiàn)在了其他領(lǐng)域，比如使用磚塊等圖像進(jìn)行紋理合成的時(shí)候。

非刻板印象的性別呈現(xiàn)

看下圖就并不是一張所謂的“女裝大佬”照片，而是由GAN生成的“假”照片。

這個(gè) GAN 是在CelebA 的一個(gè)子集上訓(xùn)練的，其中包含 10k 名人臉的 200k 圖像。

在上圖的數(shù)據(jù)集中，我們沒(méi)有看到一個(gè)留胡須、戴耳環(huán)和化妝的例子；但GAN 卻經(jīng)?；旌喜煌詣e的屬性。因?yàn)?GAN 并不總是能很好地學(xué)習(xí)和理解人類(lèi)社會(huì)范疇中的一些分類(lèi)和屬性（比如此處的“男性與女性”）。

需要說(shuō)明的是，和不對(duì)稱(chēng)一樣，非刻板印象的性別表現(xiàn)本質(zhì)上并不是圖像不“真實(shí)”的指標(biāo)。與凌亂的頭發(fā)不同，它不是單個(gè)圖像中存在的視覺(jué)偽影，而是大量圖像中匹配統(tǒng)計(jì)數(shù)據(jù)的差異。

半正規(guī)噪點(diǎn)和熒光滲透

半正規(guī)噪點(diǎn)（Semi-regular noise）：一些原本為單色的區(qū)域可能會(huì)出現(xiàn)帶有水平或垂直條帶的半正則噪點(diǎn)。在上面的例子中，這可能是網(wǎng)絡(luò)試圖模仿布料的質(zhì)地。較舊的 GAN 具有更突出的噪聲模式，通常被描述為棋盤(pán)偽影（checkerboard artifacts）。

熒光滲透（Fluorescent bleed）：有時(shí)候一些熒光色會(huì)從背景滲入頭發(fā)或臉上。一些較淺的純色區(qū)域可能出現(xiàn)多種色調(diào)，如衣領(lǐng)、頸部和眼白等。如下圖：

“水斑”（Water-splotches）：StyleGAN 算法的顯著特征之一是有時(shí)會(huì)產(chǎn)生閃亮的斑點(diǎn)，看起來(lái)像舊照片上的水漬。它們可能會(huì)出現(xiàn)在圖像的任何地方，但通常是在頭發(fā)和背景間的界面處。如下圖。

https://kcimc.medium.com/how-to-recognize-fake-ai-generated-images-4d1f6f9a2842

https://www.whichfaceisreal.com/learn.html

看了那么多假圖像，我們?cè)賮?lái)看一組真實(shí)的人臉照片，看這些清晰的背景文字、匹配的耳環(huán)、同樣大小的牙齒、細(xì)致的發(fā)型。

話(huà)題再回到開(kāi)始的那個(gè)問(wèn)題，那兩位小哥到底是真人臉還是AI生產(chǎn)的呢？公布答案———

你猜對(duì)了嗎？

還想再鍛煉一下自己辨別“真假臉”的火眼金睛？可以試試“哪張臉是真的？”這個(gè)小游戲哦。

游戲地址：https://www.whichfaceisreal.com/index.php

CISAW網(wǎng)絡(luò)情報(bào)

為你量身定制的專(zhuān)業(yè)培訓(xùn)

目前，隨著國(guó)家對(duì)于網(wǎng)絡(luò)情報(bào)能力的重視度逐漸加強(qiáng)，也隨著開(kāi)源情報(bào)在各行各業(yè)應(yīng)用的普及與推廣，社會(huì)各界對(duì)網(wǎng)絡(luò)情報(bào)分析人才的需求也日益增加。

作為國(guó)內(nèi)官方認(rèn)證的專(zhuān)業(yè)網(wǎng)絡(luò)情報(bào)培訓(xùn)中心，福韻數(shù)據(jù)攜手中國(guó)網(wǎng)絡(luò)安全審查技術(shù)與認(rèn)證中心開(kāi)展CISAW網(wǎng)絡(luò)情報(bào)分析培訓(xùn)，重點(diǎn)培養(yǎng)學(xué)員網(wǎng)絡(luò)情報(bào)收集、整合、分析和轉(zhuǎn)化的能力，力求輔助各個(gè)行業(yè)培養(yǎng)更多的情報(bào)分析專(zhuān)家。

為打造“開(kāi)源情報(bào)+融合”課程體系，2021年起福韻將不定期邀請(qǐng)開(kāi)源情報(bào)和跨學(xué)科融合領(lǐng)域的專(zhuān)家參與授課交流，致力為學(xué)員打造更高質(zhì)更全面的網(wǎng)絡(luò)情報(bào)培訓(xùn)服務(wù)。

“水木人工智能學(xué)堂”讀者可享受兩大專(zhuān)屬福利：

培訓(xùn)費(fèi)價(jià)格優(yōu)惠；
報(bào)名成功的讀者將報(bào)名回執(zhí)發(fā)送給“水木人工智能學(xué)堂”，可獲贈(zèng)一套價(jià)值1199的國(guó)際知名情報(bào)專(zhuān)家OSINT實(shí)戰(zhàn)案例，涵蓋了開(kāi)源網(wǎng)絡(luò)情報(bào)簡(jiǎn)介、商業(yè)應(yīng)用等。