CVPR 2020 最佳論文提名 | 神經網絡能否識別鏡像翻轉

2020年讓我們不斷見識到“后浪”的超強力量，也讓世界看到了矚目的華人新星。在今年6月舉辦的CVPR中，年齡最小的一位一作獲獎者甚至還在本科階段。他就是來自康奈爾大學的四年級學生、98年出生的AI科學新秀——林之秋。

林之秋以一作身份提交CVPR 2020的論文「視覺手性」（Visual Chirality）獲得了最佳論文提名獎。在本文中，林之秋等人首次挑戰(zhàn)了常規(guī)神經網絡訓練中圖片”翻轉不變性“(flip-invariant)的這一假設，在多種領域上利用卷積神經網絡發(fā)現了許多常人難以捕捉的”視覺手性“線索，并通過自監(jiān)督訓練在多項數據集上達到了60%甚至到90%的精度。

作者: 美國康奈爾大學四年級本科生 林之秋

公眾號：將門創(chuàng)投(thejiangmen) 編輯：人工智能前沿講習

本文作者

林之秋，就讀于美國常春藤高校康奈爾大學。他同時選修了計算機和數學兩個專業(yè)，僅用兩年時間就全部修完本科課程。大二開始選修博士課程，同時跟隨計算機系的教授從事科研工作。由于成績極為優(yōu)異，自大二起林之秋就接受計算機系里邀請，以助教身份給高年級同學講課，為康奈爾科技學院的同學編寫碩士生的預修課程，甚至在高階機器學習課上給博士生的卷子打分。

剛剛21歲、本科畢業(yè)的林之秋，在學院數千名學生中名列前三，被授予學院最高榮譽，并受院長邀請代表學院在畢業(yè)典禮上舉旗。之后，他即將前往專業(yè)排名世界第一的卡內基梅隆的機器人學院攻讀博士學位。

導讀

鏡子的歷史與人類文明幾乎一樣長，而古今中外文學史上有關鏡子的描寫更是數不勝數。從愛麗絲鏡中奇遇記，到西游記里托塔天王的照妖鏡，再到J·K·羅琳筆下哈利波特世界里的厄里斯魔鏡，這些有關鏡子的故事都可謂是家喻戶曉。在近年來的計算機視覺領域，鏡像翻轉更是一種最為常用的數據增強方法。

然而，在本屆CVPR 2020中獲得Best Paper Nomination的「視覺手性」(Visual Chirality)一文中，來自康奈爾大學的研究員林之秋等人首次挑戰(zhàn)了常規(guī)神經網絡訓練中圖片”翻轉不變性“ (flip-invariant) 的這一假設。這篇文章在多種領域（人臉，互聯網圖片，數字處理圖像）上利用卷積神經網絡發(fā)現了許多常人難以捕捉的”視覺手性“線索，并通過自監(jiān)督訓練在多項數據集上達到了60%甚至到90%的精度。

文章鏈接：https://arxiv.org/abs/2006.09512

文章網站：http://visual-chirality.io

代碼鏈接：https://github.com/linzhiqiu/digital_chirality

一、簡介

神經網絡訓練需要大量標注數據，但數據又永遠是有限的。為了用有限的標注數據來擬合函數，人們使用數據增強(data augmentation)的方法來低成本得獲得更多的標記數據。

而鏡像翻轉則是最常用的圖像數據增強方法之一。只需要將所有圖片都進行一次鏡像翻轉，我們就相當于免費得到了雙倍的數據。

但事情真的這么簡單么？當我們翻轉了數據集里所有的圖片時，神經網絡所擬合的函數還能代表原先的圖像分布么？來自康奈爾大學研究員的「視覺手性(Visual Chirality)」這篇論文首次討論了這一話題。

為了理解這一鏡像翻轉話題，我們先從一個小測試開始：

你能判斷以下三張圖片哪張被鏡像翻轉（水平翻轉）了嗎？

答案：

圖一：鏡像翻轉（線索：文字）。我們可以很容易看出來文字被翻轉過了。

圖二：沒有翻轉（線索：紐扣）。男士襯衫的紐扣一般位于身體右側。

圖三：鏡像翻轉（線索：吉他）。吉他手的主手應當在吉他右側。

對于大部分的互聯網圖片來說（例如圖二圖三），鏡像翻轉對于人類而言并沒有多少區(qū)別，因而難以判斷。然而，神經網絡卻可以通過自監(jiān)督訓練的方法在這個任務上達到非常高的精度，并能指出圖片中哪些區(qū)域可以被用于識別鏡像翻轉（以上三張圖片利用了類激活映射(CAM)方法進行了高亮）。

康奈爾的研究人員將這一視覺現象定義為“視覺手性”(Visual Chirality)。

在化學等學科上，手性(Chirality)的定義為“一個物體無法與其鏡像相重合”。這種不對稱性在自然界大量存在，并在不同領域有著廣泛的應用。

手具有手性(Chiral)，因為鏡像翻轉后無法與原圖重合。而杯子是軸心對稱，所以不具備手性。

手性(Chirality)代表著單個圖片的翻轉不對稱性，而視覺手性(Visual Chirality)則是針對圖像分布(Image Distribution)所定義的翻轉不對稱性。

假設一個圖像分布中包含了右手和左手的照片（左右手的圖片出現概率一致），那么此時，盡管每張圖片都具有手性，這個圖像分布卻不具備視覺手性。這是由于左手鏡像翻轉后就和右手長的一樣了。反之，假設一個圖像分布中只存在右手不存在左手，那么這個分布就具備視覺手性（或稱翻轉不對稱性），因為我們知道一張左手的照片必然為鏡像翻轉。

用統計學的術語來定義的話，假設有圖像分布D，而其中一個圖像是x，那么其在分布中出現概率是D(x)。我們將鏡像翻轉的操作稱為T，而翻轉圖片x我們可以得到T(x)。

那么圖像分布D具備視覺手性意味著：D中存在圖片x，滿足D(x)≠D(T(x))的條件。

如下圖所示，假設我們有一個一維的分布（橫軸上每個點都為一個元素），那么藍色實線所代表的分布則具備視覺手性，因為x1和x2分別與T(x1)和T(x2)的出現概率不一致：

當一個圖像分布具備視覺手性時，使用鏡像翻轉作為數據增強方法將不可避免的改變一個數據集所代表的分布。換句話說，只有當一個圖像分布不具備視覺手性的時候，我們才能在不改變原先圖像分布的前提下，使用鏡像翻轉來增強數據集。

然而，視覺手性是大部分視覺領域都擁有的屬性。正如此篇文章作者，谷歌AI科學家Noah Snavely教授所說：

“在計算機視覺的研究中，我們常把這個世界視為”翻轉不變“的，鏡像翻轉因而是一個常規(guī)的數據增強方法。然而，當你翻轉圖片后，文字將被顛倒，左手變?yōu)橛沂?，而螺旋意大利面也將朝相反方向旋轉。”

為了挑戰(zhàn)了人們先前在計算機視覺中對于“翻轉不變性”的假設，「視覺手性」這篇文章通過自監(jiān)督訓練在幾個不同視覺領域驗證了“視覺手性”的存在。

二、訓練方法

「視覺手性」這篇文章利用了自監(jiān)督學習(self-supervised learning)方法來訓練卷積神經網絡。對于任何一個數據集，只需要將其原有的圖片標記為“無翻轉”，并將鏡像翻轉過的圖片標記為“有翻轉”，即可訓練神經網絡識別鏡像翻轉這一二分類任務(binary classification)。同時我們可以根據神經網絡在驗證集(validation set)的表現上來評估這一圖像分布是否具備視覺手性：如果驗證集上的精度要顯著大于50%，我們便有充足的證據來證明視覺手性的存在。

作者在這篇文章中利用了ResNet-50作為基本的網絡結構，并使用SGD方法來訓練網絡。基于先前自監(jiān)督學習方法的啟發(fā)，作者將同一張圖片的原圖和翻轉圖放到了SGD的同一batch里(shared-batch training)，加速了網絡的訓練。

為了了解神經網絡學到了哪些視覺手性線索，作者利用了類激活映射(CAM：Class Activation Map)方法，在原有圖片上對于視覺手性敏感的區(qū)域進行了高亮。同時因為能造成視覺手性的現象有很多，作者推出了一個簡單的基于類激活映射的聚類方法：手性特征聚類(Chiral Feature Clustering)。

三、手性特征聚類方法

類激活映射方法本質上是對于神經網絡最后一層卷積層輸出的特征圖(feature map)的加權線性和(linear weighted sum)。當我們假設神經網絡是利用區(qū)域特征(local feature)來判斷圖像是否為鏡像翻轉時，我們可以將類激活映射(CAM)最強的區(qū)域視為神經網絡最為關注的區(qū)域特征。只需要取最后一層卷積層輸出的特征圖上這一區(qū)域的特征，便可以利用傳統的聚類方法例如K-means clustering進行自動分類。

ResNet-50最后一層卷積輸出的特征圖為一個（16x16x2048）的三維矢量f，而類激活映射所得到的熱圖（heatmap）為（16x16）的二維矢量A。假設熱圖上數值最大的點為（x*，y*），那么我們用來聚類的區(qū)域特征即為f(x*，y*）。

作者在多個不同圖像分布上利用手性特征聚類方法對視覺手性現象進行了歸因和討論。

四、互聯網圖片集

在互聯網圖片集上(Imagenet，Instagram，Flickr-F100M)，神經網絡在鏡像翻轉識別上取得了高達60%-80%的精度。

作者著重分析了Instagram圖片上的視覺手性現象。在不用隨機剪裁(random cropping)時，神經網絡在測試集上取得了高達92%的精度。然而因為有JPEG壓縮失真的可能性存在(JPEG edge artifact一般出現于圖片的邊緣），作者同樣使用隨機剪裁進行了訓練，并仍舊取得了高達80%的精度?？紤]到大量Instagram圖片有配文字，而文字是最明顯的視覺手性現象，作者用文字識別器濾除了Instagram中含有文字的圖片重新進行了訓練，但仍舊在測試集上取得了74%的高精度。值得一提的是這些訓練出來的模型具有一定程度的泛化能力，可以不經訓練，在其他的互聯網圖片集(Flickr F100M)上取得高于50%的精度。

作者在Instagram圖片集上進行了手性特征聚類，并挑選了一系列與我們生活相關的典型視覺手性現象進行討論。

1、手機

對著鏡子自拍是人們最愛做的事。此類照片具有視覺手性，因為手機的攝像頭一般固定在手機背面的一側（因品牌而異），同時由于多數人是右撇子，一般都以右手持手機進行自拍。

2、吉他

幾乎大多數的吉他手都以右手撥弦，左手持把。

3、手表

手表一般都被帶在人們的右手側。

4、男士襯衫領子

男士襯衫的扣子一般處于右側。

5、上衣口袋

正裝上衣的口袋幾乎無一例外處于身體左側，為了更好地服務于占大多數的右撇子。

6、人臉

更令人吃驚的是，類激活映射方法在大量的人臉上出現了較強的反應，說明人臉中視覺手性的存在。多數情況下人臉通常被認為是對稱的：此屆CVPR 2020另一篇Best Student Paper (Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild) 更是將人臉視為了軸心對稱的物體，并以此為線索來進行3D重建。

需要強調的一點是，這些視覺手性現象在每張圖片中看似孤立，但神經網絡仍有可能會利用多種不同的線索來對圖片是否翻轉進行判斷。

為了深入了解人臉的視覺手性現象，作者在人臉數據集上進行了孤立訓練。

作者在Flickr-Faces-HQ (FFHQ)人臉數據集上進行了訓練，并在測試集上取得了高達81%的精度，并利用手性特征聚類對人臉中的視覺手性現象進行了初步的探討：

1) 劉海分界處：人們一般用右手來分理劉海，這會導致劉海的朝向向一側偏移，并出現視覺手性現象。

2) 眼睛：人們在看向物體時傾向于用一只主視眼進行瞄準，這樣會導致人們的目光在進行拍攝時出現偏移。多數人的主視眼為右眼，而這一現象可能是導致視覺手性現象的成因。

3)胡子：與頭發(fā)一樣，可能與人們習慣于用右手理胡子有關。

作者提到，文中對以上的視覺手性現象的討論均為初步的分析，而人臉中任有大量的視覺手性線索值得被發(fā)掘。

五、數字圖像處理

作者對數字圖像處理過程，例如去馬賽克（最常見為Bayer Demosaicing)和圖片壓縮（最常見為JPEG Compression)過程中產生的視覺手性現象進行了分析。舉個例子，當作者首次利用神經網絡在Instagram數據集上進行自監(jiān)督訓練時，發(fā)現沒有使用隨機剪裁(random cropping)的神經網絡盡管精度更高（在測試集上高達92%），但在部分圖片上，類激活映射所得到的熱圖更著重關注圖片的邊緣部分，如左下圖所示：

而在使用隨機剪裁之后，我們得到的新的熱圖則更關注來自于圖片中物體本身的線索（例如圖中的襯衫領子）。作者推斷這是由于Instagram的圖片均為JPEG格式，經過了JPEG圖像壓縮這一數字圖像處理方式。JPEG壓縮的算法是在圖片上對于每16乘16的像素格進行分別處理的，而對于不能被16整除的圖片，其邊緣會用統一方式進行處（例如重復邊緣像素）。這會導致JPEG壓縮的圖片的邊緣失真(edge artifact)，從而導致了視覺手性現象。

作者通過概率論與群論(group theory)對數字圖像處理過程產生的視覺手性現象進行了數學論證，并通過神經網絡實驗驗證了這一現象在互聯網圖片中廣泛存在。而此類的線索往往不能被肉眼可見，卻在圖片中存在固定的模式，因而為圖像識偽的應用創(chuàng)造了可能性。

由于文中的證明和實驗過程較為復雜，此處我們先給出數學定義和最重要的幾點結論。

1、定義

作者在論文中主要涉及了兩種最常見的圖像處理方式：

• 去馬賽克(Demosaicing)：數字相機的感光元件一般只能在每個像素格上捕捉RGB中的其中一種顏色，而其中最常用的為貝爾濾色鏡(Bayer Color Filter Array)，如下圖所示。去馬賽克則是將感光元件得到的二維圖像還原為三維全彩的這一過程。

• JPEG壓縮算法(JPEG Compression)：JPEG是一種有損的圖像壓縮方式，被廣泛應用在如今大量的互聯網圖片上。一般以每16乘16的像素格為單位通過色彩空間變換，縮減像素采樣，離散余弦變換等步驟來進行圖片編碼壓縮。

2、結論

• 去馬賽克或JPEG壓縮算法單獨使用時，會在特定的圖片大小產生視覺手性現象。對于去馬賽克，由于貝爾濾色鏡為2乘2的像素格，且濾色鏡本身不對稱（參考上圖綠紅藍綠的排序），任何能被2整除的圖片寬度均會導致視覺手性。對于JPEG壓縮，任何不被16整除的圖片寬度均會導致視覺手性。這意味著，當去馬賽克和JPEG壓縮被共同使用時，任意寬度的圖片都將產生視覺手性，因為同時滿足不被2整除和能被16整除的數字不存在。

• 當使用隨機剪裁(random cropping)時，去馬賽克或JPEG壓縮單獨使用并不產生視覺手性現象。

• 當使用隨機剪裁(random cropping)時，去馬賽克和JPEG壓縮同時使用將會產生視覺手性現象。這意味著互聯網圖片中可能存在大量有規(guī)律的，肉眼不可見的視覺手性線索，而人們將能夠利用這類線索來進行圖片識偽。

3、證明

那下面我們進入證明部分（讀者需要對群論(Group Theory)有一定基礎）文中最重要的證明為附加材料中的命題3：

命題3：當原圖像分布D不具備視覺手性時，如果圖像處理函數J與圖像變換函數T具備交換律，則經J處理后的圖像分布DJ也不具備視覺手性。

證明：由于T具備可逆性和分配律，T可以將原分布中的圖片分為一個個不相交的循環(huán)群(disjoint cyclic groups)。

下圖形象的解釋了交換殘差的計算過程：

文中使用去馬賽克、JPEG壓縮、以及兩者結合這三種圖像處理方法，對于鏡像翻轉這一圖片變換方式分別計算了交換殘差。

當去馬賽克處理的圖像寬度為奇數時，處理后的圖像分布可能具備視覺手性；反之如果為偶數，則不具備視覺手性。當JPEG壓縮的圖片不為16整除時，處理后的圖像分布可能具備視覺手性，反之則不具備。當兩者結合后，處理后的圖片一定具備視覺手性：

作者為了驗證這些結論，在原本不具備視覺手性的人工數據集（高斯分布生成的隨機圖片）上，對不同寬度的圖片分別進行了這三種處理，并使用神經網絡進行了自監(jiān)督學習。實驗結果符合這一測試的預期。因為大量互聯網圖片都經過了去馬賽克和JPEG壓縮，這一結論意味著數字圖像處理所帶來的視覺手性現象在互聯網圖片中廣泛存在。

當加入隨機剪裁(random cropping)后，我們還能得到這一結論么？作者的答復是肯定的。

我們可以很容易看出，當每一個單獨的J都和T具備交換律時，我們可以分別應用命題三，來證明每一個J產生的新圖像分布不具備視覺手性。而當我們將這些不具備視覺手性的新圖像分布加權求和的時候（公式20），我們得到的新圖像分布仍舊不具備視覺手性。

對于第二點來說，即便每個單獨的J都不和T具備交換律時，我們仍可以找到新的圖像分布不具備視覺手性的情況。為了理解這一點，作者引入了一個新的概念”排列交換律”(Permuted Commutativity)，如下圖所示：

作者將這種具備"排列交換律"的情況形象得稱為"平移交換律"(Glide Commutativity)，因為這類視覺現象在自然界廣泛存在。例如人類的足跡，經過平移之后仍舊是對稱的：

那么如何檢驗這種”平移交換律“的存在呢？作者針對隨機剪裁提出了一個簡單的平移交換律測試(Glide Commutativity Test)：

作者對去馬賽克，JPEG壓縮，以及兩者結合這三種圖像處理方式進行了測試。測試結果為：當去馬賽克和JPEG壓縮單獨使用時，經過隨機剪裁后的分布具備平移交換律（如下圖1和2中的黑色格子），所以一定不具備視覺手性。而當兩者結合時，平移交換律就消失了，同時可能產生視覺手性。

作者同樣利用人造數據集進行了神經網絡訓練，并驗證了這一測試的結果。這意味著對于大量的互聯網圖片，由于它們都經過了去馬賽克和JPEG壓縮，即便我們使用了隨機剪裁，仍然有可能觀察到視覺手性。也就是說，數字圖像處理所導致的視覺手性現象可能大量存在于互聯網圖片之中，并且這類線索可能存在于任意圖片區(qū)域。這類線索在互聯網圖片中可能肉眼不可見，卻能被神經網絡捕捉到。這也為圖片識偽(image forensic)提供了新的可能性。

六、結論

「視覺手性」這篇文章首次挑戰(zhàn)了神經網絡訓練中對于圖片”翻轉不變性“的假設，并在多種不同的視覺分布上發(fā)現了”視覺手性“的線索。這對于未來的數據增強和圖片識偽方法將有很大的指導意義。