无码在线精品视频,国产一区二区无码午夜久久久豆花av,久久久99国产精品免费,韩国一级一级免费,高清A V在线,欧美后门菊门交3p、,日本xxxx在线,苍井さくら在线一区二区

點擊上方“小白學(xué)視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

來自 | 知乎

鏈接丨h(huán)ttps://www.zhihu.com/question/264264203

僅作學(xué)術(shù)交流，如有侵權(quán)，請聯(lián)系刪除

提問

如何理解Inductive bias？

為什么說CNN的inductive bias符合圍棋？是因為效果好，反過來就說符合嗎？RNN的inductive bias又是什么呢？

高質(zhì)量回答

LinT

NLP丑新

https://www.zhihu.com/question/264264203/answer/830077823

歸納偏置在機器學(xué)習(xí)中是一種很微妙的概念：在機器學(xué)習(xí)中，很多學(xué)習(xí)算法經(jīng)常會對學(xué)習(xí)的問題做一些假設(shè)，這些假設(shè)就稱為歸納偏置(Inductive Bias)。歸納偏置這個譯名可能不能很好地幫助理解，不妨拆解開來看：

歸納(Induction)是自然科學(xué)中常用的兩大方法之一(歸納與演繹, induction and deduction)，指的是從一些例子中尋找共性、泛化，形成一個比較通用的規(guī)則的過程；
偏置(Bias)是指我們對模型的偏好。

因此，歸納偏置可以理解為，從現(xiàn)實生活中觀察到的現(xiàn)象中歸納出一定的規(guī)則(heuristics)，然后對模型做一定的約束，從而可以起到“模型選擇”的作用，即從假設(shè)空間中選擇出更符合現(xiàn)實規(guī)則的模型。其實，貝葉斯學(xué)習(xí)中的“先驗(Prior)”這個叫法，可能比“歸納偏置”更直觀一些。

歸納偏置在機器學(xué)習(xí)中幾乎無處不可見。老生常談的“奧卡姆剃刀”原理，即希望學(xué)習(xí)到的模型復(fù)雜度更低，就是一種歸納偏置。另外，還可以看見一些更強的一些假設(shè)：KNN中假設(shè)特征空間中相鄰的樣本傾向于屬于同一類；SVM中假設(shè)好的分類器應(yīng)該最大化類別邊界距離；等等。

在深度學(xué)習(xí)方面也是一樣。以神經(jīng)網(wǎng)絡(luò)為例，各式各樣的網(wǎng)絡(luò)結(jié)構(gòu)/組件/機制往往就來源于歸納偏置。在卷積神經(jīng)網(wǎng)絡(luò)中，我們假設(shè)特征具有局部性(Locality)的特性，即當(dāng)我們把相鄰的一些特征放在一起，會更容易得到“解”；在循環(huán)神經(jīng)網(wǎng)絡(luò)中，我們假設(shè)每一時刻的計算依賴于歷史計算結(jié)果；還有注意力機制，也是基于從人的直覺、生活經(jīng)驗歸納得到的規(guī)則。

在自然語言處理領(lǐng)域赫赫有名的word2vec，以及一些基于共現(xiàn)窗口的詞嵌入方法，都是基于分布式假設(shè)：A word’s meaning is given by the words that frequently appear close-by. 這當(dāng)然也可以看作是一種歸納偏置；一些自然語言理解的模型中加入解析樹，也可以類似地理解。都是為了選擇“更好”的模型。

李如

是【夕小瑤的賣萌屋】的rumor醬～

https://www.zhihu.com/question/264264203/answer/492568154

inductive bias是關(guān)于目標函數(shù)的必要假設(shè)

歸納偏置_百度百科

CNN的inductive bias應(yīng)該是locality和spatial invariance，即空間相近的grid elements有聯(lián)系而遠的沒有，和空間不變性（kernel權(quán)重共享）

RNN的inductive bias是sequentiality和time invariance，即序列順序上的timesteps有聯(lián)系，和時間變換的不變性（rnn權(quán)重共享）



下載1：OpenCV-Contrib擴展模塊中文版教程
在「小白學(xué)視覺」公眾號后臺回復(fù)：擴展模塊中文教程，即可下載全網(wǎng)第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM算法、立體視覺、目標跟蹤、生物視覺、超分辨率處理等二十多章內(nèi)容。

下載2：Python視覺實戰(zhàn)項目52講
在「小白學(xué)視覺」公眾號后臺回復(fù)：Python視覺實戰(zhàn)項目，即可下載包括圖像分割、口罩檢測、車道線檢測、車輛計數(shù)、添加眼線、車牌識別、字符識別、情緒檢測、文本內(nèi)容提取、面部識別等31個視覺實戰(zhàn)項目，助力快速學(xué)校計算機視覺。

下載3：OpenCV實戰(zhàn)項目20講
在「小白學(xué)視覺」公眾號后臺回復(fù)：OpenCV實戰(zhàn)項目20講，即可下載含有20個基于OpenCV實現(xiàn)20個實戰(zhàn)項目，實現(xiàn)OpenCV學(xué)習(xí)進階。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~