↑ 點擊藍字?關注極市平臺

作者丨正蜀黍

編輯丨極市平臺

極市導讀

本文聚焦于歸納和總結數(shù)字圖像篡改被動檢測方法，對基于特征提取和基于卷積神經(jīng)網(wǎng)絡的兩類篡改檢測方法進行全面論述，分析其中不足與問題，并討論了數(shù)字圖像篡改被動檢測技術未來的發(fā)展趨勢。>>加入極市CV技術交流群，走在計算機視覺的最前沿

0前言

隨著圖像編輯技術的不斷發(fā)展，人們可以輕松地篡改圖像內(nèi)容或者操縱圖像生成過程，使得圖像的真實性和完整性受到挑戰(zhàn)，嚴重影響了人們對新聞報道、軍事經(jīng)濟中圖像真實度的信任。在已有的研究范圍里，學者們將圖像內(nèi)容篡改類型總體分為兩類：

（1）復制粘貼篡改（Copy-move）

（2）拼接組合篡改（Splicing）

復制粘貼篡改是指是在同一幅圖像上，將部分區(qū)域復制粘貼到該圖中的其它位置；拼接組合篡改是指將一幅圖像中的某個區(qū)域拷貝到另一幅圖像中以生成新的圖像。

數(shù)字圖像篡改檢測按照是否預先在數(shù)字圖像中嵌入附加信息可以分為主動檢測和被動檢測（也叫盲檢測）兩種[1]，篡改主動檢測技術主要包括數(shù)字簽名技術和數(shù)字水印技術，這兩種方法的共同點是：需要圖像提供方進行摘要信息的提取或者水印的嵌入，即在實際檢測時需要圖像提供方進行配合，這一條件在實際操作中很難滿足。因此無須對數(shù)字圖像進行預前處理的數(shù)字圖像篡改被動檢測技術成為當前圖像檢測領域的研究熱點。數(shù)字圖像篡改被動檢測技術大體上被分為兩類：

（1）基于特征提取的傳統(tǒng)篡改檢測技術

（2）基于卷積神經(jīng)網(wǎng)絡的篡改檢測技術

在早期的研究中，研究者大多將注意力集中在圖像本身的統(tǒng)計信息和物理特性上，采用基于圖像的特征提取方法來檢測篡改區(qū)域，比如從鏡頭失真矯正、顏色插值、傳感器噪聲等圖像生成過程中不同的處理信號入手，大量的篡改被動檢測算法和數(shù)學模型被提出[2-5]，在信息受限的場景中得到良好的應用，進一步地促進了數(shù)字圖像取證領域的發(fā)展。但是傳統(tǒng)的篡改檢測技術只是針對圖像的某一種屬性進行設計，使得最終的檢測率不是很高并且魯棒性也較差，導致基于特征提取的篡改檢測算法很難在實際當中高質量、高效率地解決圖像的信息安全問題。

近年來，隨著深度學習技術的不斷發(fā)展，尤其以AlexNet為代表的卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network，CNN)[6]在特征提取方面的優(yōu)異表現(xiàn)，加之其在圖像分類、語義分割、物體識別等計算機視覺任務上取得的可觀成績，一些研究學者嘗試使用深度學習技術解決數(shù)字圖像的篡改檢測問題?；诰矸e神經(jīng)網(wǎng)絡的篡改檢測技術利用深度學習網(wǎng)絡的多層結構和強大的特征學習能力實現(xiàn)不依賴于圖像的單一屬性的篡改檢測，彌補了基于特征提取的傳統(tǒng)圖像篡改檢測技術適用度不高的缺點?；诰矸e神經(jīng)網(wǎng)絡的篡改檢測技術不僅可以定位篡改區(qū)域，而且還能給出相應的篡改類型，在現(xiàn)有的用于數(shù)字圖像取證的公開數(shù)據(jù)集的實驗中，基于卷積神經(jīng)網(wǎng)絡的篡改檢測算法效果優(yōu)于傳統(tǒng)圖像的篡改檢測算法，并表現(xiàn)出較好的魯棒性。

現(xiàn)有數(shù)字圖像篡改檢測被動檢測相關綜述主要聚焦于傳統(tǒng)檢測方法，如Chu等[6]闡述了目前國內(nèi)外學者在JPEG圖像篡改的被動取證技術方面的主要研究成果，基于篡改和方法的不同，將目前檢測方法分為雙重JPEG壓縮檢測方法和JPEG塊效應不一致性檢測方法。Du等[7]總結了目前基于底層線索和基于學習的感知哈希圖像篡改檢測方法，并根據(jù)方法的不同特點進行更為細致的分類。整體缺乏對利用卷積神經(jīng)網(wǎng)絡來設計圖像篡改檢測方法的闡述。本文聚焦于歸納和總結數(shù)字圖像篡改被動檢測方法，分析其中的不足和面臨的問題，對現(xiàn)有的代表性工作和方法尤其是基于卷積神經(jīng)網(wǎng)絡的方法的主要框架進行論述。討論數(shù)字圖像篡改被動檢測技術未來的發(fā)展趨勢并給出結論。

1?基于特征提取的傳統(tǒng)篡改檢測

傳統(tǒng)的篡改被動檢測技術基于圖像統(tǒng)計信息和物理特征分別對復制黏貼和拼接組合的兩種篡改手段提出相應的檢測方法。研究學者根據(jù)篡改手段和圖像屬性的不同，將檢測方法分成五個類別，即基于重疊塊的檢測方法、基于特征點的檢測方法、基于圖像屬性的檢測方法、基于設備屬性的檢測方法和基于壓縮屬性的檢測方法。圖像篡改檢測類型及技術如圖1所示：

圖1 圖像篡改檢測類型及技術

1.1復制黏貼篡改檢測方法

復制粘貼篡改的一般原理是將同一幅圖像中相似的物體，平移到圖像的另一個區(qū)域中。由于此類篡改操作對圖像的變動較小，因此不易被人發(fā)現(xiàn)。復制粘貼篡改定義如圖2所示：

圖2 復制粘貼示意圖

令? 表示原始圖像，? 表示復制粘貼篡改之后的圖像。? 和? 表示原始區(qū)域，??'和??'表示復制區(qū)域。圖像的原始區(qū)域和復制區(qū)域分別有位移差? 和? 則篡改圖像可以表示為式 1 :

其中(x, y)表示像素點，f(x,y)表示圖像在點(x, y)處的像素值，?x、?y是對應分量的坐標點差值，是系統(tǒng)參數(shù)。

1.1.1基于重疊快的篡改檢測方法

基于重疊塊的篡改檢測方法是將輸入的圖像劃分為相互重疊的像素塊，每一個像素塊根據(jù)不同的變換計算規(guī)則得出相應的變換值，該變換值作為此像素塊的特征值，由此作為檢測該區(qū)域是否被篡改的依據(jù)。因此該方法的重點是依據(jù)相關數(shù)學原理在特征提取的過程中計算得到塊特征。根據(jù)具體實現(xiàn)方法的不同，可將基于重疊塊的檢測方法再次細分為：（1）單一幾何變換法；（2）復合幾何變換法。

下面分別針對這兩個角度闡述相關工作。

（1）單一幾何變換法。單一幾何變換法是指基于一種數(shù)字圖像變換理論，實現(xiàn)高效快速地篡改檢測。Fridrich等[7]提出一種基于頻率的復制粘貼篡改檢測方法，先將圖片分割成相互重疊的塊，利用離散余弦變換（Discrete Cosine Transform，DCT）提取出各個圖像塊的特征向量。通過匹配和濾波，兩個相似的特征向量分別對應圖像中兩個相似區(qū)塊，即復制粘貼篡改區(qū)域。Luo等[8]通過比較相似重疊快，使用主成分分析（Principle Component Analysis）的方法最終確定可能的重復區(qū)域，并且可以對經(jīng)過處理的圖像（比如對圖像進行模糊化、噪聲污染等）進行較好的復制粘貼篡改檢測。

（2）復合幾何變換法。為了進一步提高檢測的準確性，一些工作融合不同的幾何變換理論，使提取的圖像塊特征更接近于期望值。如Li G等[9]提出了一種基于離散小波變換（Discrete Wavelet Transform，DWT）和奇異值分解（Signal value Decomposition，SVD）的復制粘貼被動檢測方法，首先將離散小波變換用于圖像分割，通過奇異值分解對小波中的低頻分量進行降維表示，然后按照字典順序對向量進行分類，復制粘貼的圖像塊將分類在相鄰列表，該方法通過降維操作不僅可以降低計算的復雜度，而且對于高度壓縮的圖像或者邊緣處理的圖像，也能準確定位篡改區(qū)域。在具體實現(xiàn)上與單一幾何方法不同，作者充分利用DWT和SVD分別在圖像塊分割和降維特征提取方面的優(yōu)勢，實現(xiàn)了在檢測效率和檢測質量均良好的性能。

1.1.2基于特征點的篡改檢測方法

由于基于重疊塊的篡改檢測方法在輸入的圖像尺寸特別大、分割的重疊快特別多時，特征值計算和特征匹配過程緩慢，算法的時間復雜度高。為了提高檢測精度和降低算法的時間復雜度，一些學者提出了基于特征點的篡改檢測方法。

1999年David Lowe在計算機視覺國際會議上提出SIFT算法，即尺度不變特征變換（Scale-invariant feature transform，SIFT）[10]，該算法可在圖像中檢測出關鍵點，廣泛用于數(shù)字圖像的特征描述。研究學者在這一理論基礎上進行改進優(yōu)化，開展一系列基于特征點的篡改檢測方法的研究。

Amerini等[11]仿造SIFT在關鍵點識別和聚類方面的設計思路，提出一種基于J-Linkage算法的復制粘貼篡改檢測及其定位的方法，在幾何變換空間內(nèi)展現(xiàn)了魯棒性較高的聚類效果，實現(xiàn)對復制區(qū)域更好地預測和識別。Ardizzone E等[12]提出一種新穎的利用特征點進行篡改檢測的方法，該方法首先從圖像中提取特征點（關鍵點），然后將對象建模為建立在這些點上的一組連接的三角形，根據(jù)三角形的形狀、顏色信息以及提取到的三角形頂點的局部特征向量來進行匹配，這種方法相對于單一的塊匹配和點匹配實現(xiàn)了更高檢測精度，同時設計的算法對幾何變換具有良好的魯棒性。

雖然基于特征點的篡改檢測方法從圖像的高熵區(qū)提取特征信息，得到的特征向量的數(shù)目小，對于特征匹配的時間較短，從而使得該方法的總體效率比基于重疊塊的篡改檢測方法總體效率高，但是也有其不足之處，當圖像本身的對比度不高、光照一致性不足、圖像壓縮程度較高時，提取到的特征點會大大減少導致算法失效。

1.2拼接組合篡改檢測方法

不同于復制粘貼篡改方式，圖像的拼接組合篡改操作的內(nèi)容來源更廣泛，不局限于圖像內(nèi)部的場景，因此拼接組合的篡改檢測具有更大的挑戰(zhàn)性。

拼接組合篡改可定義如下，如圖3所示：

圖3 拼接組合示意圖

令兩幅原始圖像分別為f1(x,y)和f2(x,y)，兩幅圖像的截圖操作分別為系統(tǒng)函數(shù)H1(x,y)和H2(x,y)，則拼接組合操作后的圖像g(x,y)可表示為式2：

其中(x, y)表示像素點，f(x,y)表示圖像在點(x, y)處的像素值。

1.2.1基于圖像屬性的篡改檢測方法

在基于圖像屬性的篡改檢測研究中，一部分研究學者嘗試從不同圖像來源所產(chǎn)生的不同圖像統(tǒng)計信息來尋找特征。目前算法研究主要包括雙相干特征、自然圖像統(tǒng)計模型和邊緣檢測。

（1）雙相干特征。Tiansong Ng等[14]研究了利用雙相干特征進行篡改被動檢測的，并提出了使用幅值和相位作為特征來檢測拼接組合篡改的存在，最后利用支持向量機（SVM）的分類方法對提出的圖像屬性特征的檢測結果進行評價，檢測準確度能達到70%。為了彌補經(jīng)驗觀測與理論解釋之間的差距，后來該作者又在此工作基礎上提出并研究了一種基于雙極信號噪聲思想來檢測拼接組合篡改引起的圖像內(nèi)容的斷層[15]，進一步提高了識別的準確度。

（2）自然圖像統(tǒng)計模型。Shi等[16]提出自然圖像模型，該模型由從給定的測試圖像中提取的統(tǒng)計特征和應用于測試圖像的多尺度塊離散余弦變換生成的二維陣列組成，用于區(qū)分篡改和未篡改圖像。

（3）邊緣檢測。除上述兩種思路外，由于拼接組合篡改導致圖像邊緣像素相關度的不連續(xù)性也會產(chǎn)生具有可分辨性的特征模式。例如，Dong等[17]將圖像邊緣像素信息進行拼接檢測，判斷是否發(fā)生篡改。Wang等[18]利用不同圖像拼接時色度閾值的差異，提出了一種基于邊緣圖像灰度共生矩陣的彩色圖像篡改檢測方法，該方法采用Boosting[19]特征選擇器來確定最優(yōu)特征，然后通過支持向量機對特征進行分類。

1.2.2基于設備屬性的篡改檢測方法

現(xiàn)代多種數(shù)字設備（如數(shù)碼相機、掃描儀、手機等）都可以生成數(shù)字圖像，不同成像設備來源的數(shù)字圖像雖然在視覺上并沒有太大差異，但是由于各種設備特征的不同（如感光元件、顏色插值等），其產(chǎn)生的數(shù)字圖像也會有不同的可分辨性特征，通過對這些設備屬性特征的提取，使用相應的取證算法進行篡改檢測。該方法可以從兩個角度來實現(xiàn)，其一是根據(jù)彩色濾波陣列（Color Filter Array，CFA），其二是根據(jù)相機的傳感器噪聲（Sensor Noise）。數(shù)字圖像成像過程如圖4所示：

圖4 數(shù)字圖像成像過程

（1）根據(jù)彩色濾波陣列（CFA）插值檢測。其原理是：CFA插值是通過將捕獲的輸出轉換為紅色、綠色、藍色三原色通道（Red、Green and Blue，RGB）來重建全彩色圖像的過程，數(shù)碼相機得到一幅彩色圖像，需要通過周圍像素的值估計出缺失的其他兩種顏色的分量信息，即為 CFA 插值過程。不同的成像設備有不同的插值算法，拼接組合篡改會導致兩個區(qū)域插值像素的不連續(xù)。Dirik和Memon[20]利用CFA產(chǎn)生的偽影來檢測圖像篡改，他們提出了兩個思路，一種是基于CFA模式估計，另一種是基于CFA插值像素中的傳感器噪聲功率應顯著低于非插值像素。在此理論基礎上，Popescu等[21]提出基于線性模型對CFA插值的相關性進行建模，通過EM算法（Expectation-Maximization algorithm, 最大期望算法）[22]計算出像素的相關性系數(shù)并對圖像拼接做出檢測。為了更好地理解像素相關性系數(shù)，選擇標準互相關系數(shù)（如式3所示）來衡量RGB顏色分量間的相關性強度。

式中表示兩個不同的矩陣，為矩陣的期望值, 表示矩陣的行、列，并且. , 相關性系數(shù) 越接近 1 說明兩個矩陣的相關性越高。

（2）根據(jù)相機傳感器噪聲模式檢測。其原理是：不同的圖像具有不同的傳感器噪聲分布，由于拼接組合篡改來源于不同的兩幅圖像，因此拼接區(qū)域具有不同于原始圖像的剩余區(qū)域中的噪聲模式，利用這些差異可實現(xiàn)拼接組合篡改的檢測。Lucas等[23]提出了一種檢測相機傳感器噪聲的方法，當檢測某個區(qū)域缺少對應的模式噪聲時，即判斷為篡改區(qū)域。Gao等[24]利用三組統(tǒng)計噪聲特征進行圖像篡改檢測分析，包括去噪分析、小波分析和鄰域分析，有效地區(qū)分了數(shù)字圖像的原始區(qū)域和拼接組合區(qū)域。為了解決一些檢測器對噪聲敏感導致不能應對噪聲退化的問題，Mahdian等[25]提出了一種簡單的方法，他們將一幅圖像分割成具有均勻噪聲水平的各個分區(qū)，添加新的局部噪聲可能會導致圖像噪聲的不一致，根據(jù)圖像中不同的噪聲級來檢測篡改區(qū)域。

1.2.3基于壓縮屬性的篡改檢測方法

基于壓縮屬性的篡改檢測方法主要是針對于JPEG文件格式的圖像。JPEG是一種常用的國際壓縮標準，并且也是目前流行的圖像格式之一，其在高壓縮率的情況下仍然能保持較好的圖片質量。確定圖像是否被壓縮是圖像處理中的一個重要問題，在圖像篡改檢測中起著非常重要的作用。

Fraid[26]提出針對不同JPEG壓縮生成的低質量圖像的篡改檢測方法，但是該方法只有在檢測圖像的一部分最初是低于圖像其他部分的壓縮品質時才有效。Ye等[27]提出在JPEG壓縮過程中引入的塊效應可以作為一種“自然認證碼”，利用DCT系數(shù)直方圖設計了一種估計局部JPEG壓縮分塊偽影度量技術，將偽影中的不一致性作為拼接篡改的證據(jù)。

在JPEG塊效應的基礎上，Luo等[28]將塊偽影作為檢測圖像篡改的“水印”，提出了塊偽影特征矩陣（Blocking?Artifact?Characteristics?Matrix，BACM），并證明了對于原始的圖像，BACM具有規(guī)則的對稱性，對于從另一張JPEG圖像中拼接過來的部分，BACM的規(guī)則對稱性被破壞，充分利用這一特征對圖像篡改進行檢測。He等[29]提出了一種通過檢測DCT系數(shù)中隱藏的雙重量化效應來檢測篡改的JPEG圖像并進一步定位篡改部分的方法，該方法還具有其他優(yōu)點：除了能夠檢測圖像的拼接組合篡改之外，還可以檢測由各種合成方法（如消光和修補）篡改的圖像。但是當整幅圖像被調(diào)整大小、旋轉或者裁剪時，該方法會失效。

綜上所述，自從圖像內(nèi)容安全性被重視以來，以圖像篡改檢測為目標的各項數(shù)字取證工作隨之展開，雖然基于特征提取的傳統(tǒng)篡改檢測方法在實際應用中都有其不足之處，但是各種算法的提出有效提升了檢測效果，進一步完善了圖像內(nèi)容安全保護機制。傳統(tǒng)篡改檢測算法對比如表1所示：

表1 傳統(tǒng)篡改檢測算法比較

其中，被攻擊圖像指的是經(jīng)過處理的圖像，比如對圖像進行模糊化、噪聲污染等。

2?基于卷積神經(jīng)網(wǎng)絡的篡改檢測

近年來，隨著深度學習技術的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks, CNN）[30]在特征提取方面的優(yōu)異表現(xiàn)引起了圖像取證領域學者的注意。在數(shù)字圖像篡改檢測方面，傳統(tǒng)的篡改檢測方法只是基于某種特定圖像操作所引起的圖像特征改變來進行分析，而卷積神經(jīng)網(wǎng)絡的優(yōu)點在于其具有強大的特征學習能力，學習到的數(shù)據(jù)更能反映出數(shù)據(jù)的本質特征，有利于結果的分類和可視化。

Rao等[31]首次將卷積神經(jīng)網(wǎng)絡用于數(shù)字圖像的篡改檢測，該方法利用CNN從輸入的RGB彩色圖像中自動學習特征層次表示，為了保留更細微的篡改痕跡，作者使用Fridrich提出的空間豐富模型（Spatial Rich Model，SRM）[32]初始化網(wǎng)絡參數(shù)，并采用特征融合技術得到最終判別特征。提出的方案與其它傳統(tǒng)方法的檢測性能進行了比較，如表2所示：

表2 首次基于CNN方法與傳統(tǒng)方法的篡改檢測準確率的比較

由表2可知，基于卷積神經(jīng)網(wǎng)絡的圖像篡改檢測算法在三個公開的數(shù)據(jù)集上的檢測準確率均高于其他三個最新的傳統(tǒng)篡改檢測算法。由此，利用卷積神經(jīng)網(wǎng)絡提取數(shù)字圖像的特征信息，可以更好地完成篡改圖像的檢測，隨之研究者們提出了更多可觀的思路和方案。

Zhang等[36]提出了一種兩階段的基于卷積神經(jīng)網(wǎng)絡的深度學習方法來學習篡改特征，第一階段使用自動編碼器模型來學習每個單獨的篡改特征，第二階段整合每個篡改特征的上下文信息以便更準確的進行檢測，該方法不僅在JPEG文件格式的圖像集上表現(xiàn)突出，而且對于CASIA數(shù)據(jù)集中的TIFF文件格式的圖像上也實現(xiàn)了一定準確率的篡改檢測。BAPPY等[37]從兩階段設計算法的思想中受到啟發(fā)，采用了一個混合的CNN-LSTM模型來捕捉篡改區(qū)域和非篡改區(qū)域之間的區(qū)分特征，LSTM（Long Short Term Memory networks，長短期記憶模型）[38]是一種能夠記錄圖像上下文信息的網(wǎng)絡模型，作者的思路是將LSTM和CNN中卷積層的結合來理解篡改區(qū)域與非篡改區(qū)域共享的邊界上像素之間的空間結構差異性，通過對網(wǎng)絡端對端的訓練以及利用反向傳播機制讓網(wǎng)絡學習參數(shù)，整個框架能夠檢測包括復制粘貼和拼接組合不同類型的圖像篡改操作。

Bondi等[39]結合圖像成像設備屬性的特點，提出了一種利用不同攝像機模型在圖像上留下的特征足跡進行圖像篡改檢測和定位的算法，該算法的基本原理是，原始圖像的所有像素都應該被檢測為使用單一設備拍攝，相反如果通過拼接組合的篡改方式進行圖像的合成，則可以檢測出多個設備的痕跡。算法利用卷積神經(jīng)網(wǎng)絡從圖像塊中提取攝像機模型特征，然后利用迭代聚類的方法對特征進行分類以檢測圖像是否被偽造，并對篡改區(qū)域實現(xiàn)定位。該方法對于拼接組合篡改方式的圖像具有很好的檢測效果，但是對于復制粘貼的篡改圖像，由于復制的部分來源于同一幅圖像區(qū)域導致該方法不適用。

Liu等[40]提出了一種新的深度融合網(wǎng)絡，通過跟蹤篡改區(qū)域的邊界來定位篡改區(qū)域。首先訓練一組稱為基網(wǎng)的深度卷積神經(jīng)網(wǎng)絡，分別對特定類型的拼接組合篡改進行響應，然后選取若干層基網(wǎng)絡作為深度融合神經(jīng)網(wǎng)絡（Fusion Network，F(xiàn)N），融合網(wǎng)絡通過對少量圖像進行微調(diào)后，能夠識別出圖像塊是否由不同的來源合成的。該方法中作者用大尺寸圖像塊作為網(wǎng)絡的輸入來揭示篡改區(qū)域的屬性，但是當被篡改區(qū)域的尺寸較小時，該方法可能會失效。

為了學習更豐富的圖像篡改特征，Zhou等[41]提出了一種雙流Faster-RCNN網(wǎng)絡，并對其進行端到端的訓練，以檢測給定的篡改圖像區(qū)域。同時借助Faster-RCNN在目標檢測領域的應用[42,43]，該網(wǎng)絡不僅能準確定位篡改區(qū)域，還能標注出篡改類型，如是否為復制粘貼篡改等。網(wǎng)絡結構如圖5所示：

圖5 雙流Faster-RCNN網(wǎng)絡結構示意圖

其中，雙流之一是RGB流，其目的是從輸入的RGB圖像中提取特征，以查找篡改偽影，如強對比度、非自然邊界等。雙流之二為噪聲流，是利用富文本分析模型（SRM）濾波層中提取的噪聲特征來揭示真實區(qū)域和篡改區(qū)域之間的噪聲不一致性特征，然后通過雙線性池化層融合來自兩個流的特征，以進一步合并這兩種模式的空間特性，提高檢測準確性。該算法的貢獻為（1）展示了Faster-RCNN網(wǎng)絡如何適應圖像篡改檢測的雙流模式；（2）證明了RGB流和噪聲流對于檢測不同的篡改方式是互補的。為之后做此方向繼續(xù)深入研究的學者供了創(chuàng)新思路。

雖然上述基于深層網(wǎng)絡結構的圖像篡改算法可以學習到更高級的語義信息，但對篡改區(qū)域的檢測和定位效果并不理想?；诖?，Bi等[44]提出了一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡的圖像篡改檢測算法，在卷積神經(jīng)網(wǎng)絡的普遍特性的基礎上，利用淺層稀神經(jīng)元的級聯(lián)網(wǎng)絡代替以往深層次單一網(wǎng)絡。該算法分為兩部分：

（1）級聯(lián)卷積神經(jīng)網(wǎng)絡；

（2）自篩選后處理；前者學習圖像中篡改區(qū)域和非篡改區(qū)域的屬性差異，實現(xiàn)多層級篡改區(qū)域定位，后者對級聯(lián)神經(jīng)網(wǎng)絡的檢測定位結果進行優(yōu)化。

算法檢測流程如圖6所示：

圖6?基于級聯(lián)卷積神經(jīng)網(wǎng)絡算法的檢測流程

其中，級聯(lián)卷積神經(jīng)網(wǎng)絡由粗篩網(wǎng)絡、粒提網(wǎng)絡和精辨網(wǎng)絡3級子網(wǎng)絡串聯(lián)組成，由于級聯(lián)網(wǎng)絡結構的靈活性，通過將不同的訓練數(shù)據(jù)傳輸?shù)讲煌瑢哟蔚木W(wǎng)絡中，可以學習到特定的篡改特征。自適應篩選后處理的過程是對級聯(lián)卷積神經(jīng)網(wǎng)絡的輸出結果進行優(yōu)化，通過自適應篩選器去除誤檢部分，然后對篩選結果進行空白填充。對比實驗所參考的評價參數(shù)為精確率、召回率和F1值，分別表示為式4、式5和式6。結果表明，該算法效果優(yōu)于傳統(tǒng)圖像篡改檢測算法，并且表現(xiàn)出較好的魯棒性。

為了進一步提高基于卷積神經(jīng)網(wǎng)絡的篡改檢測方法的性能和檢測效率，2019年Bi等又提出了一種環(huán)形殘差網(wǎng)絡（RRU-Net）[45]，可直接定位篡改區(qū)域而無需額外的預處理和后處理操作。該網(wǎng)絡包含兩個關鍵步驟：殘差傳播（Residual Propagation）和殘差反饋（Residual Feedback），前者主要用于解決網(wǎng)絡中梯度退化的問題，后者使篡改區(qū)域和非篡改區(qū)域的差異對比更加明顯。作者提出殘差反饋的背景是：在文獻[41]中，Zhou使用SRM進一步放大差異，但存在一個缺點，即當被篡改區(qū)域和未被篡改區(qū)域來自同一相機品牌或型號時，由于它們具有相同或相似的噪聲分布，SRM濾波器的幫助將非常小，而殘差反饋的方法不僅僅關注一個或幾個特定的圖像屬性，更加關注于輸入信息中可辨識的特征。目前，該方法在檢測效果上取得了良好的性能，并且在運算效率方面具有較大的優(yōu)勢。

3?未來發(fā)展趨勢

由于數(shù)字圖像篡改被動檢測技術不需要額外的先驗知識，在實際的司法取證、保證新聞真實性等場景中應用價值不言而喻，也促進了該領域學術研究的進步。綜合上述近10年的發(fā)展歷程，未來發(fā)展趨勢可總結為兩個層面，即面向互聯(lián)網(wǎng)共享環(huán)境下的數(shù)字圖像篡改檢測研究和面向大規(guī)模圖像數(shù)據(jù)集的數(shù)字圖像篡改檢測研究。

3.1面向互聯(lián)網(wǎng)共享環(huán)境下的數(shù)字圖像篡改檢測研究

在目前的研究中，尤其是利用圖像統(tǒng)計信息和物理特性的傳統(tǒng)篡改檢測方法的大部分工作還是局限于實驗室環(huán)境的數(shù)據(jù)集，然而隨著互聯(lián)網(wǎng)的開放共享和各種即時通訊軟件的應用，在實際生活中的圖像通常會經(jīng)過一系列再編輯的過程，比如裁剪縮放、美顏濾鏡、壓縮解碼等，這些操作會在一定程度上破壞了像素之間的特征聯(lián)系，從而導致現(xiàn)有的檢測算法沒有很好的達到預期性能。Wu[46]認為考慮到圖像篡改檢測本身具有迫切的應用需求，可以預見針對互聯(lián)網(wǎng)共享環(huán)境下的檢測算法研究是未來一個重要的研究內(nèi)容，也是從實驗室走向實際應用必須要解決的問題之一。

3.2面向大規(guī)模圖像數(shù)據(jù)集的數(shù)字圖像篡改檢測研究

得益于計算機軟件和硬件設備的不斷升級，深度學習技術開始走向大眾視野，研究學者在從大規(guī)模圖像集中利用卷積神經(jīng)網(wǎng)絡學習特征時，不再支付昂貴的實驗儀器費用，節(jié)省了大量的物力和財力。但是由于微信、微博等圖像社交網(wǎng)絡的流行，一方面研究學者可以獲取大量經(jīng)過復制粘貼和拼接組合的圖像，為篡改檢測算法有效性的研究提供了有利條件，但是另一方面大規(guī)模的圖像數(shù)據(jù)對篡改檢測算法造成了一些困難：Li等[47]認為由于需要提取原始圖像和篡改后圖像的區(qū)分特征，加之需要計算篡改區(qū)域和非篡改區(qū)域樣本間的相關性，使數(shù)據(jù)規(guī)模增大，導致算法的時間復雜度大大增加。因此，如何應對大規(guī)模圖像數(shù)據(jù)集，是數(shù)字圖像篡改檢測研究在未來必須要解決的一個重要難題。

參考文獻

[1]?Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[2]?魏為民,胡勝斌,趙琰.數(shù)字圖像取證技術的發(fā)展[J].上海電力學院學報,2012,28(04):369-374.

[3]?Shuyi Zhu,Xiaochun Cao,Handong Zhao. Photographic composite detection using circles[J]. Frontiers of Computer Science,2012,6(6).

[4]?Qiong Dong,Gaobo Yang,Ningbo Zhu. A MCEA based passive forensics scheme for detecting frame-based video tampering[J]. Digital Investigation,2012,9(2).

[5]?Xiuli Bi,Chi-Man Pun,Xiao-Chen Yuan. Multi-Level Dense Descriptor and Hierarchical Feature Matching for Copy–Move Forgery Detection[J]. Information Sciences,2016,345.

[6]?楚雪玲,魏為民,華秀茹,李思纖,栗風永.面向JPEG圖像篡改的盲取證技術綜述[J].上海電力學院學報,2019,35(06):607-613.

[7]?Fridrich, J., Soukal, D. and Lukas, J. (2003) Detection of Copy-Move Forgery in Digital Images. Proceedings of Digital Forensic Research Workshop, Cleveland, August 2003, 55-61.

[8]?Luo W , Huang J , Qiu G . Robust Detection of Region-Duplication Forgery in Digital Image[C]// 18th International Conference on Pattern Recognition (ICPR 2006), 20-24 August 2006, Hong Kong, China. 2006.

[9]?Li G , Wu Q , Tu D , et al. A Sorted Neighborhood Approach for Detecting Duplicated Regions in Image Forgeries Based on DWT and SVD[C]// Proceedings of the 2007 IEEE International Conference on Multimedia and Expo, ICME 2007, July 2-5, 2007, Beijing, China. IEEE, 2007.

[10]?Lowe D G . Object Recognition from Local Scale-Invariant Features[C]// iccv. IEEE Computer Society, 1999.

[11]?Irene Amerini,Lamberto Ballan,Roberto Caldelli,Alberto Del Bimbo,Luca Del Tongo,Giuseppe Serra. Copy-move forgery detection and localization by means of robust clustering with J-Linkage[J]. Signal Processing: Image Communication,2013,28(6).

[12]?Ardizzone E , Bruno A , Mazzola G . Copy-Move Forgery Detection by Matching Triangles of Keypoints[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(10):1-1.

[13]?Nillius P , Eklundh J O . Automatic estimation of the projected light source direction[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.

[14]?Tiantsong Ng S C . Blind Detection of Photomontage Using Higher Order Statistics[C]// International Symposium on Circuits & Systems. IEEE, 2004.

[15]?Ng ?T.T, ?Chang ?S.F. ?A ?model ?for ?image ?splicing[C]//2004 ?International ?Conference ?on ?Image Processing, 2004. ICIP'04. IEEE, 2004, 2: 1169-1172.

[16]?Shi ?Y.Q, ?Chen ?C, ?Chen ?W. ?A ?natural ?image ?model ?approach ?to ?splicing ?detection[C]//Proceedings of the 9th workshop on Multimedia & security. ACM, 2007: 5162.

[17]?Dong J, Wang W, Tan T, et al. Run-length and edge statistics based approach for image ?splicing ?detection[C]//International ?workshop ?on ?digital ?watermarking. ?Springer, ?Berlin, ?Heidelberg, 2008: 76-87.

[18]?Wang ?W, ?Dong ?J, ?Tan ?T. ?Effective ?image ?splicing ?detection ?based ?on ?image ?chroma[C]//2009 16th IEEE International Conference on Image Processing (ICIP). IEEE, ?2009: 1257-1260.

[19]?Yoav Freund,Robert E Schapire. A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting[J]. Journal of Computer and System Sciences,1997,55(1).

[20]?Dirik, A.E., Memon, N.. Image tamper detection based on demosaicing artifacts[P]. Image Processing (ICIP), 2009 16th IEEE International Conference on,2009.

[21]?Popescu A C , Farid H . Exposing digital forgeries in color filter array interpolated images[J]. IEEE Transactions on Signal Processing, 2005, 53(10):3948-3959.

[22]?Couvreur C. The EM Algorithm: A Guided Tour[J]. 1996:115--120.

[23]?Jan Luká?,Jessica Fridrich,Miroslav Goljan. Detecting digital image forgeries using sensor pattern noise[P]. Electronic Imaging,2006.

[24]?Gou H , Swaminathan A , Wu M . Noise Features for Image Tampering Detection and Steganalysis[C]// Image Processing, 2007. ICIP 2007. IEEE International Conference on. IEEE, 2007.

[25]?Mahdian B , Saic S . Detection of Resampling Supplemented with Noise Inconsistencies Analysis for Image Forensics[C]// Computational Sciences and Its Applications, 2008. ICCSA '08. International Conference on. IEEE Computer Society, 2008:546-556.

[26]?Farid, H. Exposing Digital Forgeries From JPEG Ghosts[J]. IEEE Transactions on Information Forensics and Security, 2009, 4(1):154-160.

[27]?Ye S , Sun Q , Chang E C . Detecting Digital Image Forgeries by Measuring Inconsistencies of Blocking Artifact[C]// Multimedia and Expo, 2007 IEEE International Conference on. IEEE, 2007.

[28]?Luo, Qu, Huang, et al. A Novel Method for Detecting Cropped and Recompressed Image Block[C]// IEEE International Conference on Acoustics. IEEE, 2007.

[29]?He J , Lin Z , Wang L , et al. Detecting doctored JPEG images via DCT coefficient analysis[C]// Proceedings of the 9th European conference on Computer Vision - Volume Part III. Springer-Verlag, 2006.

[30]?Lecun Y , Boser B , Denker J S , et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation, 1989, 1(4):541-551.

[31]?Rao Y , Ni J . A deep learning approach to detection of splicing and copy-move forgeries in images[C]// 2016 IEEE International Workshop on Information Forensics and Security (WIFS). IEEE, 2016.

[32]?J. Fridrich, and J. Kodovsky, “Rich models for steganalysis of digital ′ images,” IEEE Transactions on Information Forensics and Security, vol.7, no. 3, pp. 868-882, June 2012.

[33]?Ghulam Muhammad,Munner H. Al-Hammadi,Muhammad Hussain,George Bebis. Image forgery detection using steerable pyramid transform and local binary pattern[J]. Machine Vision and Applications,2014,25(4).

[34]?He Z , Lu W , Sun W , et al. Digital image splicing detection based on Markov features in DCT and DWT domain[J]. Pattern Recognition, 2012, 45(12):4292---4299.

[35]?X. Zhao, S. Wang, S. Li and J. Li.Passive Image-Splicing Detection by a 2-D Noncausal Markov Model[J].IEEE Transactions on Circuits and Systems for Video Technology, vol. 25, no. 2, pp. 185–199, Feb. 2015.

[36]?ZHANG Ying, GOH J, WIN L L, et al. Image region forgery detection: A Deep Learning Approach[M]. MATHUR A and ROYCHOUDHURY R. Proceedings of the Singapore Cyber-Security Conference. Amsterdam: IOS Press, 2016: 1–11.

[37]?Bappy M J H , Roy-Chowdhury A K , Bunk J , et al. Exploiting Spatial Structure for Localizing Manipulated Image Regions[C]// International Conference on Computer Vision (ICCV), 2017. IEEE Computer Society, 2017.

[38]?Hochreiter S , Schmidhuber, Jürgen. Long Short-Term Memory[J]. Neural Computation, 1997, 9(8):1735-1780.

[39]?Bondi L , Lameri S , Guera D , et al. Tampering Detection and Localization Through Clustering of Camera-Based CNN Features[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2017.

[40]?Liu B, Pun C M. Deep Fusion Network for Splicing Forgery Localization[C]//European Conference on Computer Vision. Springer, Cham, 2018: 237-251.

[41]?Zhou, Peng, Han, Xintong, Morariu, Vlad I. Learning Rich Features for Image Manipulation Detection[J].

[42]?Jiang H , Learned-Miller E . Face Detection with the Faster R-CNN[J]. 2016.

[43]?Chen Y , Li W , Sakaridis C , et al. Domain Adaptive Faster R-CNN for Object Detection in the?Wild[J]. 2018.

[44]?畢秀麗,魏楊,肖斌,李偉生,馬建峰.基于級聯(lián)卷積神經(jīng)網(wǎng)絡的圖像篡改檢測算法[J].電子與信息學報,2019,41(12):2987-2994.

[45]?Xiuli Bi, Yang Wei, Bin Xiao, Weisheng Li. RRU-Net: The Ringed Residual U-Net for ?Image Splicing Forgery Detection[J].2019

[46]?Wu Y , Abd-Almageed W , Natarajan P . Image Copy-Move Forgery Detection via an End-to-End Deep Neural Network[C]// 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018.

[47]?Li Y , Zhou J . Fast and Effective Image Copy-Move Forgery Detection via Hierarchical Feature Point Matching[J]. IEEE Transactions on Information Forensics & Security, 2018:1-1.

◎作者檔案

正蜀黍，萬千AI開發(fā)者之一，專注于計算機視覺技術知識分享

個人公眾號：ai_liking

歡迎大家聯(lián)系極市小編（微信ID:fengcall19）加入極市原創(chuàng)作者行列

推薦閱讀

從R-CNN到YOLO，2020 圖像目標檢測算法綜述
如何從頻域的角度解釋CNN（卷積神經(jīng)網(wǎng)絡）？
基于深度卷積神經(jīng)網(wǎng)絡的小樣本分割算法綜述

添加極市小助手微信（ID : cvmart2），備注：姓名-學校/公司-研究方向-城市（如：小極-北大-目標檢測-深圳），即可申請加入極市目標檢測/圖像分割/工業(yè)檢測/人臉/醫(yī)學影像/3D/SLAM/自動駕駛/超分辨率/姿態(tài)估計/ReID/GAN/圖像增強/OCR/視頻理解等技術交流群：每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺開發(fā)者互動交流~

△長按添加極市小助手

△長按關注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??

圖像篡改被動檢測技術一覽：基于特征提取和卷積神經(jīng)網(wǎng)絡的篡改檢測

目錄

0前言

（1）復制粘貼篡改（Copy-move）

（2）拼接組合篡改（Splicing）

復制粘貼篡改是指是在同一幅圖像上，將部分區(qū)域復制粘貼到該圖中的其它位置；拼接組合篡改是指將一幅圖像中的某個區(qū)域拷貝到另一幅圖像中以生成新的圖像。

1?基于特征提取的傳統(tǒng)篡改檢測

1.1復制黏貼篡改檢測方法

1.2拼接組合篡改檢測方法

2?基于卷積神經(jīng)網(wǎng)絡的篡改檢測

3?未來發(fā)展趨勢

圖像篡改被動檢測技術一覽：基于特征提取和卷積神經(jīng)網(wǎng)絡的篡改檢測

目錄

0前言

（1）復制粘貼篡改（Copy-move）

（2）拼接組合篡改（Splicing）

復制粘貼篡改是指是在同一幅圖像上，將部分區(qū)域復制粘貼到該圖中的其它位置；拼接組合篡改是指將一幅圖像中的某個區(qū)域拷貝到另一幅圖像中以生成新的圖像。

1?基于特征提取的傳統(tǒng)篡改檢測

1.1復制黏貼篡改檢測方法

1.2拼接組合篡改檢測方法

2?基于卷積神經(jīng)網(wǎng)絡的篡改檢測

3?未來發(fā)展趨勢

復制粘貼篡改是指是在同一幅圖像上，將部分區(qū)域復制粘貼到該圖中的其它位置；拼接組合篡改是指將一幅圖像中的某個區(qū)域拷貝到另一幅圖像中以生成新的圖像。