久久久三级视频,俺也来也去精品视频,免费一片A,国产综合在线观看视频国产,围内精品久久久久久久久久98,五月婷婷丁香在线导航,亚洲人成色77777在线播放,www一区二区处女

作者：mingo_敏

編輯：深度學(xué)習(xí)自然語言處理

鏈接：https://blog.csdn.net/shanglianlm/article/details/85019768

tensorflow和pytorch很多都是相似的，這里以pytorch為例。

19種損失函數(shù)

1. L1范數(shù)損失 L1Loss

計算 output 和 target 之差的絕對值。

torch.nn.L1Loss(reduction='mean')

參數(shù)：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

2 均方誤差損失 MSELoss

計算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction='mean')

參數(shù)：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

3 交叉熵損失 CrossEntropyLoss

當(dāng)訓(xùn)練有 C 個類別的分類問題時很有效. 可選參數(shù) weight 必須是一個1維 Tensor, 權(quán)重將被分配給各個類別. 對于不平衡的訓(xùn)練集非常有效。

在多分類任務(wù)中，經(jīng)常采用 softmax 激活函數(shù)+交叉熵損失函數(shù)，因為交叉熵描述了兩個概率分布的差異，然而神經(jīng)網(wǎng)絡(luò)輸出的是向量，并不是概率分布的形式。所以需要 softmax激活函數(shù)將一個向量進行“歸一化”成概率分布的形式，再采用交叉熵損失函數(shù)計算 loss。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')

參數(shù)：

weight (Tensor, optional) – 自定義的每個類別的權(quán)重. 必須是一個長度為 C 的 Tensor

ignore_index (int, optional) – 設(shè)置一個目標(biāo)值, 該目標(biāo)值會被忽略, 從而不會影響到輸入的梯度。

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

4 KL 散度損失 KLDivLoss

計算 input 和 target 之間的 KL 散度。KL 散度可用于衡量不同的連續(xù)分布之間的距離, 在連續(xù)的輸出分布的空間上(離散采樣)上進行直接回歸時很有效.

torch.nn.KLDivLoss(reduction='mean')

參數(shù)：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

5 二進制交叉熵損失 BCELoss

二分類任務(wù)時的交叉熵計算函數(shù)。用于測量重構(gòu)的誤差, 例如自動編碼機. 注意目標(biāo)的值 t[i] 的范圍為0到1之間.

torch.nn.BCELoss(weight=None, reduction='mean')

參數(shù)：

weight (Tensor, optional) – 自定義的每個 batch 元素的 loss 的權(quán)重. 必須是一個長度為 “nbatch” 的的 Tensor

6 BCEWithLogitsLoss

BCEWithLogitsLoss損失函數(shù)把 Sigmoid 層集成到了 BCELoss 類中. 該版比用一個簡單的 Sigmoid 層和 BCELoss 在數(shù)值上更穩(wěn)定, 因為把這兩個操作合并為一個層之后, 可以利用 log-sum-exp 的技巧來實現(xiàn)數(shù)值穩(wěn)定.

torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

參數(shù)：

weight (Tensor, optional) – 自定義的每個 batch 元素的 loss 的權(quán)重. 必須是一個長度為 “nbatch” 的 Tensor

7 MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')

對于 mini-batch(小批量) 中每個實例的損失函數(shù)如下:

參數(shù)：

margin:默認值0

8 HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0,  reduction='mean')

對于 mini-batch(小批量) 中每個實例的損失函數(shù)如下:

參數(shù)：

margin:默認值1

9 多標(biāo)簽分類損失 MultiLabelMarginLoss

torch.nn.MultiLabelMarginLoss(reduction='mean')

對于mini-batch(小批量) 中的每個樣本按如下公式計算損失:

10 平滑版L1損失 SmoothL1Loss

也被稱為 Huber 損失函數(shù)。

torch.nn.SmoothL1Loss(reduction='mean')

其中

11 2分類的logistic損失 SoftMarginLoss

torch.nn.SoftMarginLoss(reduction='mean')

12 多標(biāo)簽 one-versus-all 損失 MultiLabelSoftMarginLoss

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')

13 cosine 損失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')

參數(shù)：

margin:默認值0

14 多類別分類的hinge損失 MultiMarginLoss

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None,  reduction='mean')

參數(shù)：

p=1或者2 默認值：1
margin:默認值1

15 三元組損失 TripletMarginLoss

和孿生網(wǎng)絡(luò)相似，具體例子：給一個A，然后再給B、C，看看B、C誰和A更像。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean')

其中：

16 連接時序分類損失 CTCLoss

CTC連接時序分類損失，可以對沒有對齊的數(shù)據(jù)進行自動對齊，主要用在沒有事先對齊的序列化數(shù)據(jù)訓(xùn)練上。比如語音識別、ocr識別等等。

torch.nn.CTCLoss(blank=0, reduction='mean')

參數(shù)：

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

17 負對數(shù)似然損失 NLLLoss

負對數(shù)似然損失. 用于訓(xùn)練 C 個類別的分類問題.

torch.nn.NLLLoss(weight=None, ignore_index=-100,  reduction='mean')

參數(shù)：

weight (Tensor, optional) – 自定義的每個類別的權(quán)重. 必須是一個長度為 C 的 Tensor

ignore_index (int, optional) – 設(shè)置一個目標(biāo)值, 該目標(biāo)值會被忽略, 從而不會影響到輸入的梯度.

18 NLLLoss2d

對于圖片輸入的負對數(shù)似然損失. 它計算每個像素的負對數(shù)似然損失.

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')

參數(shù)：

weight (Tensor, optional) – 自定義的每個類別的權(quán)重. 必須是一個長度為 C 的 Tensor

reduction-三個值，none: 不使用約簡；mean:返回loss和的平均值；sum:返回loss的和。默認：mean。

19 PoissonNLLLoss

目標(biāo)值為泊松分布的負對數(shù)似然損失

torch.nn.PoissonNLLLoss(log_input=True, full=False,  eps=1e-08,  reduction='mean')

參數(shù)：

log_input (bool, optional) – 如果設(shè)置為 True , loss 將會按照公式 exp(input) - target * input 來計算, 如果設(shè)置為 False , loss 將會按照 input - target * log(input+eps) 計算.

full (bool, optional) – 是否計算全部的 loss, i. e. 加上 Stirling 近似項 target * log(target) - target + 0.5 * log(2 * pi * target).

eps (float, optional) – 默認值: 1e-8

        
         
        
        
         
                      
             
                             
                
                 
                  
                   
                    往期精彩回顧
                   
                  
                 
                
               
               
                
                 
                  
                   

                  
                  
                   
                    

                   
                   
                    

                   
                  
                  
                   

                  
                 
                
                
                 
                  
                   適合初學(xué)者入門人工智能的路線及資料下載
                  
                 
                  
                   (圖文+視頻)機器學(xué)習(xí)入門系列下載
                  
                 
                  
                   機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印
                  
                 
                  
                   《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯

```
交流群
```

歡迎加入機器學(xué)習(xí)愛好者微信群一起和同行交流，目前有機器學(xué)習(xí)交流群、博士群、博士申報交流、CV、NLP等微信群，請掃描下面的微信號加群，備注：”昵稱-學(xué)校/公司-研究方向“，例如：”張小明-浙大-CV“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~（也可以加入機器學(xué)習(xí)交流qq群772479961）

【深度學(xué)習(xí)】最全的損失函數(shù)匯總

1. L1范數(shù)損失 L1Loss

7 MarginRankingLoss

8 HingeEmbeddingLoss

9 多標(biāo)簽分類損失 MultiLabelMarginLoss

11 2分類的logistic損失 SoftMarginLoss

14 多類別分類的hinge損失 MultiMarginLoss

15 三元組損失 TripletMarginLoss