我在一個Kaggle競賽中翻閱notebooks，發(fā)現(xiàn)幾乎每個人都在使用EfficientNet 作為他們的主干，而我之前從未聽說過這個。谷歌AI在這篇文章中：https://arxiv.org/abs/1905.11946介紹了它，他們試圖提出一種更高效的方法，就像它的名字所建議的那樣，同時改善了最新的結果。一般來說，模型設計得太寬，太深，或者分辨率太高。剛開始的時候，增加這些特性是有用的，但很快就會飽和，然后模型的參數(shù)會很多，因而效率不高。在EfficientNet中，這些特性是按更有原則的方式擴展的，也就是說，一切都是逐漸增加的。

不明白發(fā)生了什么？不要擔心，一旦看到了架構，你就會明白了。但首先，讓我們看看他們得到了什么結果。

由于參數(shù)的數(shù)目相當少，這個模型族是非常高效的，也提供更好的結果。現(xiàn)在我們知道了為什么這些可能會成為標準的預訓練模型，但是缺少了一些東西。

共同之處

首先，任何網(wǎng)絡都以它為主干，在此之后，所有對架構的實驗都以它為開始，這在所有8個模型和最后的層中都是一樣的。

之后，每個主干包含7個block。這些block還有不同數(shù)量的子block，這些子block的數(shù)量隨著EfficientNetB0到EfficientNetB7而增加。要可視化模型層，代碼如下：

!pip?install?tf-nightly-gpu

import?tensorflow?as?tf

IMG_SHAPE?=?(224,?224,?3)
model0?=?tf.keras.applications.EfficientNetB0(input_shape=IMG_SHAPE,?include_top=False,?weights="imagenet")
tf.keras.utils.plot_model(model0)?#?to?draw?and?visualize
model0.summary()?#?to?see?the?list?of?layers?and?parameters

如果你計算EfficientNet-B0的總層數(shù)，總數(shù)是237層，而EfficientNet-B7的總數(shù)是813層??！但不用擔心，所有這些層都可以由下面的5個模塊和上面的主干組成。

我們使用這5個模塊來構建整個結構。

• 模塊1 — 這是子block的起點。
• 模塊2 — 此模塊用于除第一個模塊外的所有7個主要模塊的第一個子block的起點。
• 模塊3 — 它作為跳躍連接到所有的子block。
• 模塊4 — 用于將跳躍連接合并到第一個子block中。
• 模塊5 — 每個子block都以跳躍連接的方式連接到之前的子block，并使用此模塊進行組合。

這些模塊被進一步組合成子block，這些子block將在block中以某種方式使用。

• 子block1 — 它僅用于第一個block中的第一個子block。
• 子block2 — 它用作所有其他block中的第一個子block。
• 子block3 — 用于所有block中除第一個外的任何子block。

到目前為止，我們已經指定了要組合起來創(chuàng)建EfficientNet模型的所有內容，所以讓我們開始吧。

EfficientNet-B0

EfficientNet-B1

EfficientNet-B2

它的架構與上面的模型相同，唯一的區(qū)別是特征圖(通道)的數(shù)量不同，增加了參數(shù)的數(shù)量。

EfficientNet-B3

EfficientNet-B4

EfficientNet-B5

EfficientNet-B6

EfficientNet-B7

很容易看出各個模型之間的差異，他們逐漸增加了子block的數(shù)量。如果你理解了體系結構，我鼓勵你將任意的模型打印出來，并仔細閱讀它以更徹底地了解它。下面的表表示了EfficientNet-B0中卷積操作的內核大小以及分辨率、通道和層。

此表已包含在原始論文中。對于整個模型族來說，分辨率是一樣的。我不確定卷積核的大小是否改變了。層的數(shù)量已經在上面的圖中顯示了。通道數(shù)量是不同的，它是根據(jù)從每個型號的摘要中看到的信息計算出來的，如下所示：

在結束之前，我附上了另一個圖像，來自它的研究論文，顯示了它與其他的SOTA的performance的比較，還有減少的參數(shù)的數(shù)量和所需的FLOPS。