神經(jīng)網(wǎng)絡(luò)知識專題總結(jié)

一、神經(jīng)網(wǎng)絡(luò)簡介

圖 2. 更難的非線性分類問題

圖 3. 用圖表呈現(xiàn)的線性模型

1.1 隱藏層

圖 4. 兩層模型的圖表

圖 5. 三層模型的圖表

1.2 激活函數(shù)

圖 6. 包含激活函數(shù)的三層模型的圖表

圖 7. S 型激活函數(shù)

圖 8. ReLU 激活函數(shù)

1.3 小結(jié)

• 一組節(jié)點，類似于神經(jīng)元，位于層中。
• 一組權(quán)重，表示每個神經(jīng)網(wǎng)絡(luò)層與其下方的層之間的關(guān)系。下方的層可能是另一個神經(jīng)網(wǎng)絡(luò)層，也可能是其他類型的層。
• 一組偏差，每個節(jié)點一個偏差。
• 一個激活函數(shù)，對層中每個節(jié)點的輸出進行轉(zhuǎn)換。不同的層可能擁有不同的激活函數(shù)。

二、訓(xùn)練神經(jīng)網(wǎng)絡(luò)

2.1 失敗案例

2.2 丟棄正則化

• 0.0 = 無丟棄正則化。
• 1.0 = 丟棄所有內(nèi)容。模型學(xué)不到任何規(guī)律。

三、多類別神經(jīng)網(wǎng)絡(luò)

3.1 一對多（OnevsAll）

1. 這是一張?zhí)O果的圖片嗎？不是。
2. 這是一張熊的圖片嗎？不是。
3. 這是一張?zhí)枪膱D片嗎？不是。
4. 這是一張狗狗的圖片嗎？是。
5. 這是一張雞蛋的圖片嗎？不是。

圖 9. 一對多神經(jīng)網(wǎng)絡(luò)

四、Softmax

圖 10. 神經(jīng)網(wǎng)絡(luò)中的 Softmax 層

4.1 Softmax 選項

• 完整 Softmax 是我們一直以來討論的 Softmax；也就是說，Softmax 針對每個可能的類別計算概率。
• 候選采樣指 Softmax 針對所有正類別標(biāo)簽計算概率，但僅針對負(fù)類別標(biāo)簽的隨機樣本計算概率。例如，如果我們想要確定某個輸入圖片是小獵犬還是尋血獵犬圖片，則不必針對每個非狗狗樣本提供概率。

五、一個標(biāo)簽與多個標(biāo)簽

• 你不能使用 Softmax。
• 你必須依賴多個邏輯回歸。