點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

作者 | Vardan?Agarwal
來自 | AI公園  編譯 | ronghuaiyang
本文僅作學術(shù)交流，如有侵權(quán)，請聯(lián)系后臺刪除。

本文介紹了一種高效的網(wǎng)絡模型EfficientNet，并分析了?EfficientNet?B0 至B7的網(wǎng)絡結(jié)構(gòu)之間的差異。

我在一個Kaggle競賽中翻閱notebooks，發(fā)現(xiàn)幾乎每個人都在使用EfficientNet?作為他們的主干，而我之前從未聽說過這個。

谷歌AI在這篇文章中：https://arxiv.org/abs/1905.11946介紹了它，他們試圖提出一種更高效的方法，就像它的名字所建議的那樣，同時改善了最新的結(jié)果。一般來說，模型設計得太寬，太深，或者分辨率太高。剛開始的時候，增加這些特性是有用的，但很快就會飽和，然后模型的參數(shù)會很多，因而效率不高。在EfficientNet中，這些特性是按更有原則的方式擴展的，也就是說，一切都是逐漸增加的。

不明白發(fā)生了什么？不要擔心，一旦看到了架構(gòu)，你就會明白了。但首先，讓我們看看他們得到了什么結(jié)果。

由于參數(shù)的數(shù)目相當少，這個模型族是非常高效的，也提供更好的結(jié)果?，F(xiàn)在我們知道了為什么這些可能會成為標準的預訓練模型，但是缺少了一些東西。

? ?共同之處

首先，任何網(wǎng)絡都以它為主干，在此之后，所有對架構(gòu)的實驗都以它為開始，這在所有8個模型和最后的層中都是一樣的。

之后，每個主干包含7個block。這些block還有不同數(shù)量的子block，這些子block的數(shù)量隨著EfficientNetB0到EfficientNetB7而增加。要可視化模型層，代碼如下：

!pip?install?tf-nightly-gpu

import?tensorflow?as?tf

IMG_SHAPE?=?(224,?224,?3)
model0?=?tf.keras.applications.EfficientNetB0(input_shape=IMG_SHAPE,?include_top=False,?weights="imagenet")
tf.keras.utils.plot_model(model0)?#?to?draw?and?visualize
model0.summary()?#?to?see?the?list?of?layers?and?parameters

如果你計算EfficientNet-B0的總層數(shù)，總數(shù)是237層，而EfficientNet-B7的總數(shù)是813層！！但不用擔心，所有這些層都可以由下面的5個模塊和上面的主干組成。

我們使用這5個模塊來構(gòu)建整個結(jié)構(gòu)。

• 模塊1?— 這是子block的起點。
• 模塊2?— 此模塊用于除第一個模塊外的所有7個主要模塊的第一個子block的起點。
• 模塊3?— 它作為跳躍連接到所有的子block。
• 模塊4?— 用于將跳躍連接合并到第一個子block中。
• 模塊5?— 每個子block都以跳躍連接的方式連接到之前的子block，并使用此模塊進行組合。

這些模塊被進一步組合成子block，這些子block將在block中以某種方式使用。

• 子block1?— 它僅用于第一個block中的第一個子block。

• 子block2?— 它用作所有其他block中的第一個子block。
• 子block3?— 用于所有block中除第一個外的任何子block。

到目前為止，我們已經(jīng)指定了要組合起來創(chuàng)建EfficientNet模型的所有內(nèi)容，所以讓我們開始吧。

???模型結(jié)構(gòu)

EfficientNet-B0

EfficientNet-B0架構(gòu)。(x2表示括號內(nèi)的模塊重復兩次)

EfficientNet-B1

EfficientNet-B1的結(jié)構(gòu)

EfficientNet-B2

它的架構(gòu)與上面的模型相同，唯一的區(qū)別是特征圖(通道)的數(shù)量不同，增加了參數(shù)的數(shù)量。

EfficientNet-B3

EfficientNet-B3的結(jié)構(gòu)

EfficientNet-B4

EfficientNet-B4的結(jié)構(gòu)

EfficientNet-B5

EfficientNet-B5的結(jié)構(gòu)

EfficientNet-B6

EfficientNet-B6的結(jié)構(gòu)

EfficientNet-B7

EfficientNet-B7的結(jié)構(gòu)

很容易看出各個模型之間的差異，他們逐漸增加了子block的數(shù)量。如果你理解了體系結(jié)構(gòu)，我鼓勵你將任意的模型打印出來，并仔細閱讀它以更徹底地了解它。下面的表表示了EfficientNet-B0中卷積操作的內(nèi)核大小以及分辨率、通道和層。

此表已包含在原始論文中。對于整個模型族來說，分辨率是一樣的。我不確定卷積核的大小是否改變了。層的數(shù)量已經(jīng)在上面的圖中顯示了。通道數(shù)量是不同的，它是根據(jù)從每個型號的摘要中看到的信息計算出來的，如下所示：

在結(jié)束之前，我附上了另一個圖像，來自它的研究論文，顯示了它與其他的SOTA的performance的比較，還有減少的參數(shù)的數(shù)量和所需的FLOPS。

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講

在「小白學視覺」公眾號后臺回復：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學習進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~