<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          最全的損失函數(shù)匯總

          共 4354字,需瀏覽 9分鐘

           ·

          2022-06-17 19:14

          點(diǎn)擊上方小白學(xué)視覺(jué)”,選擇加"星標(biāo)"或“置頂

          重磅干貨,第一時(shí)間送達(dá)

          作者:mingo_敏

          鏈接:https://blog.csdn.net/shanglianlm/article/details/85019768

          tensorflow和pytorch很多都是相似的,這里以pytorch為例。

          19種損失函數(shù)

          1. L1范數(shù)損失 L1Loss

          計(jì)算 output 和 target 之差的絕對(duì)值。
          torch.nn.L1Loss(reduction='mean')

          參數(shù):
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          2 均方誤差損失 MSELoss
          計(jì)算 output 和 target 之差的均方差。
          torch.nn.MSELoss(reduction='mean')

          參數(shù):
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          3 交叉熵?fù)p失 CrossEntropyLoss
          當(dāng)訓(xùn)練有 C 個(gè)類別的分類問(wèn)題時(shí)很有效. 可選參數(shù) weight 必須是一個(gè)1維 Tensor, 權(quán)重將被分配給各個(gè)類別. 對(duì)于不平衡的訓(xùn)練集非常有效。
          在多分類任務(wù)中,經(jīng)常采用 softmax 激活函數(shù)+交叉熵?fù)p失函數(shù),因?yàn)榻徊骒孛枋隽藘蓚€(gè)概率分布的差異,然而神經(jīng)網(wǎng)絡(luò)輸出的是向量,并不是概率分布的形式。所以需要 softmax激活函數(shù)將一個(gè)向量進(jìn)行“歸一化”成概率分布的形式,再采用交叉熵?fù)p失函數(shù)計(jì)算 loss。
          torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction='mean')


          參數(shù):
          weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor
          ignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度。
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          4 KL 散度損失 KLDivLoss
          計(jì)算 input 和 target 之間的 KL 散度。KL 散度可用于衡量不同的連續(xù)分布之間的距離, 在連續(xù)的輸出分布的空間上(離散采樣)上進(jìn)行直接回歸時(shí) 很有效.
          torch.nn.KLDivLoss(reduction='mean')

          參數(shù):
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          5 二進(jìn)制交叉熵?fù)p失 BCELoss
          二分類任務(wù)時(shí)的交叉熵計(jì)算函數(shù)。用于測(cè)量重構(gòu)的誤差, 例如自動(dòng)編碼機(jī). 注意目標(biāo)的值 t[i] 的范圍為0到1之間.
          torch.nn.BCELoss(weight=None, reduction='mean')

          參數(shù):
          weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度為 “nbatch” 的 的 Tensor
          6 BCEWithLogitsLoss
          BCEWithLogitsLoss損失函數(shù)把 Sigmoid 層集成到了 BCELoss 類中. 該版比用一個(gè)簡(jiǎn)單的 Sigmoid 層和 BCELoss 在數(shù)值上更穩(wěn)定, 因?yàn)榘堰@兩個(gè)操作合并為一個(gè)層之后, 可以利用 log-sum-exp 的 技巧來(lái)實(shí)現(xiàn)數(shù)值穩(wěn)定.
          torch.nn.BCEWithLogitsLoss(weight=None, reduction='mean', pos_weight=None)

          參數(shù):
          weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度 為 “nbatch” 的 Tensor

          7 MarginRankingLoss

          torch.nn.MarginRankingLoss(margin=0.0, reduction='mean')
          對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:

          參數(shù):

          margin:默認(rèn)值0


          8 HingeEmbeddingLoss

          torch.nn.HingeEmbeddingLoss(margin=1.0,  reduction='mean')


          對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:

          參數(shù):
          margin:默認(rèn)值1

          9 多標(biāo)簽分類損失 MultiLabelMarginLoss

          torch.nn.MultiLabelMarginLoss(reduction='mean')


          對(duì)于mini-batch(小批量) 中的每個(gè)樣本按如下公式計(jì)算損失:

          10 平滑版L1損失 SmoothL1Loss

          也被稱為 Huber 損失函數(shù)。
          torch.nn.SmoothL1Loss(reduction='mean')

          其中

          11 2分類的logistic損失 SoftMarginLoss

          torch.nn.SoftMarginLoss(reduction='mean')


          12 多標(biāo)簽 one-versus-all 損失 MultiLabelSoftMarginLoss

          torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction='mean')


          13 cosine 損失 CosineEmbeddingLoss

          torch.nn.CosineEmbeddingLoss(margin=0.0, reduction='mean')


          參數(shù):
          margin:默認(rèn)值0

          14 多類別分類的hinge損失 MultiMarginLoss

          torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None,  reduction='mean')


          參數(shù):
          p=1或者2 默認(rèn)值:1
          margin:默認(rèn)值1


          15 三元組損失 TripletMarginLoss

          和孿生網(wǎng)絡(luò)相似,具體例子:給一個(gè)A,然后再給B、C,看看B、C誰(shuí)和A更像。
          torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction='mean'

          其中:

          16 連接時(shí)序分類損失 CTCLoss
          CTC連接時(shí)序分類損失,可以對(duì)沒(méi)有對(duì)齊的數(shù)據(jù)進(jìn)行自動(dòng)對(duì)齊,主要用在沒(méi)有事先對(duì)齊的序列化數(shù)據(jù)訓(xùn)練上。比如語(yǔ)音識(shí)別、ocr識(shí)別等等。
          torch.nn.CTCLoss(blank=0, reduction='mean')
          參數(shù):
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          17 負(fù)對(duì)數(shù)似然損失 NLLLoss
          負(fù)對(duì)數(shù)似然損失. 用于訓(xùn)練 C 個(gè)類別的分類問(wèn)題.
          torch.nn.NLLLoss(weight=None, ignore_index=-100,  reduction='mean')
          參數(shù):
          weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor
          ignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度.
          18 NLLLoss2d
          對(duì)于圖片輸入的負(fù)對(duì)數(shù)似然損失. 它計(jì)算每個(gè)像素的負(fù)對(duì)數(shù)似然損失.
          torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction='mean')
          參數(shù):
          weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensor
          reduction-三個(gè)值,none: 不使用約簡(jiǎn);mean:返回loss和的平均值;sum:返回loss的和。默認(rèn):mean。
          19 PoissonNLLLoss
          目標(biāo)值為泊松分布的負(fù)對(duì)數(shù)似然損失
          torch.nn.PoissonNLLLoss(log_input=True, full=False,  eps=1e-08,  reduction='mean')
          參數(shù):
          log_input (bool, optional) – 如果設(shè)置為 True , loss 將會(huì)按照公 式 exp(input) - target * input 來(lái)計(jì)算, 如果設(shè)置為 False , loss 將會(huì)按照 input - target * log(input+eps) 計(jì)算.
          full (bool, optional) – 是否計(jì)算全部的 loss, i. e. 加上 Stirling 近似項(xiàng) target * log(target) - target + 0.5 * log(2 * pi * target).
          eps (float, optional) – 默認(rèn)值: 1e-8

          好消息!

          小白學(xué)視覺(jué)知識(shí)星球

          開(kāi)始面向外開(kāi)放啦??????




          下載1:OpenCV-Contrib擴(kuò)展模塊中文版教程
          在「小白學(xué)視覺(jué)」公眾號(hào)后臺(tái)回復(fù):擴(kuò)展模塊中文教程即可下載全網(wǎng)第一份OpenCV擴(kuò)展模塊教程中文版,涵蓋擴(kuò)展模塊安裝、SFM算法、立體視覺(jué)、目標(biāo)跟蹤、生物視覺(jué)、超分辨率處理等二十多章內(nèi)容。

          下載2:Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目52講
          小白學(xué)視覺(jué)公眾號(hào)后臺(tái)回復(fù):Python視覺(jué)實(shí)戰(zhàn)項(xiàng)目即可下載包括圖像分割、口罩檢測(cè)、車(chē)道線檢測(cè)、車(chē)輛計(jì)數(shù)、添加眼線、車(chē)牌識(shí)別、字符識(shí)別、情緒檢測(cè)、文本內(nèi)容提取、面部識(shí)別等31個(gè)視覺(jué)實(shí)戰(zhàn)項(xiàng)目,助力快速學(xué)校計(jì)算機(jī)視覺(jué)。

          下載3:OpenCV實(shí)戰(zhàn)項(xiàng)目20講
          小白學(xué)視覺(jué)公眾號(hào)后臺(tái)回復(fù):OpenCV實(shí)戰(zhàn)項(xiàng)目20講,即可下載含有20個(gè)基于OpenCV實(shí)現(xiàn)20個(gè)實(shí)戰(zhàn)項(xiàng)目,實(shí)現(xiàn)OpenCV學(xué)習(xí)進(jìn)階。

          交流群


          歡迎加入公眾號(hào)讀者群一起和同行交流,目前有SLAM、三維視覺(jué)、傳感器自動(dòng)駕駛、計(jì)算攝影、檢測(cè)、分割、識(shí)別、醫(yī)學(xué)影像、GAN、算法競(jìng)賽等微信群(以后會(huì)逐漸細(xì)分),請(qǐng)掃描下面微信號(hào)加群,備注:”昵稱+學(xué)校/公司+研究方向“,例如:”張三 + 上海交大 + 視覺(jué)SLAM“。請(qǐng)按照格式備注,否則不予通過(guò)。添加成功后會(huì)根據(jù)研究方向邀請(qǐng)進(jìn)入相關(guān)微信群。請(qǐng)勿在群內(nèi)發(fā)送廣告,否則會(huì)請(qǐng)出群,謝謝理解~


          瀏覽 92
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          評(píng)論
          圖片
          表情
          推薦
          點(diǎn)贊
          評(píng)論
          收藏
          分享

          手機(jī)掃一掃分享

          分享
          舉報(bào)
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  性爱无码免费视频 | 豆花做爱视频 | 无毛一线逼 | 国产在线视频直播 | 日韩欧美一二三 |