要入行機(jī)器學(xué)習(xí)是不是非學(xué)數(shù)學(xué)不可?要學(xué)到什么程度,如何才能提高數(shù)學(xué)水平?
作者:半數(shù)o阿白
https://www.zhihu.com/question/597884858/answer/3002449171
機(jī)器學(xué)習(xí)涉及的數(shù)學(xué)并不難,應(yīng)該說相當(dāng)基本。會(huì)求導(dǎo),會(huì)矩陣向量,會(huì)計(jì)算誤差也就完事了。
對(duì)應(yīng)的方面分別是神經(jīng)網(wǎng)絡(luò),反向傳播,誤差計(jì)算。好像有一本小書就介紹了如何編寫一個(gè)簡(jiǎn)單的識(shí)別手寫數(shù)字的神經(jīng)網(wǎng)絡(luò)。
只不過,如果想要更進(jìn)一步,追上最新的研究,這點(diǎn)數(shù)學(xué)自然就不夠了,不過基本上還是工具式的數(shù)學(xué),比如矩陣,向量求導(dǎo),卷積公式,激活函數(shù),搭建起來復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),搭建起來后,后面就容易了,反正結(jié)構(gòu)會(huì)自動(dòng)更新,更多就關(guān)注于工程問題,比如數(shù)據(jù)集,訓(xùn)練集的質(zhì)量,某些參數(shù)的微調(diào),其實(shí)相當(dāng)?shù)呐鲞\(yùn)氣。就像煉金一般,調(diào)一調(diào)這個(gè)按鈕,變一變那個(gè)參數(shù),結(jié)果就出現(xiàn)了神奇的效果。
根本用不上數(shù)學(xué)思維,尋求各種奇奇怪怪的自然解釋說不定都比數(shù)學(xué)靠譜,比如群體智能,退火算法。數(shù)據(jù)集夠大,結(jié)果就足夠精確。雖然曾經(jīng)看過機(jī)器學(xué)習(xí)的公理化理論,但說穿了,問題依然在于如何分類,實(shí)現(xiàn)輸入與預(yù)想輸出的匹配。但是我們都知道神經(jīng)網(wǎng)絡(luò)就是一個(gè)黑箱,不具有可理解性,說不定藏進(jìn)去一個(gè)人也無法發(fā)現(xiàn)(笑)。還要什么數(shù)學(xué)呢?
所以,學(xué)一些基本的函數(shù),向量,矩陣的求導(dǎo),還有各種距離的計(jì)算,掌握一些激活函數(shù),函數(shù)復(fù)合,當(dāng)然還有簡(jiǎn)單的線性代數(shù),會(huì)計(jì)算矩陣乘法就行了。對(duì)于概率形式的機(jī)器學(xué)習(xí),就需要了解一些概率論的知識(shí),分布,期望,條件期望,方差,以及貝葉斯公式以及貝葉斯網(wǎng)絡(luò)。對(duì)于有限狀態(tài)概率圖,就是馬爾科夫鏈,并不復(fù)雜,簡(jiǎn)單的概率矩陣還有概率向量。對(duì)于每一個(gè)計(jì)算過程都可以引入更加復(fù)雜的應(yīng)用數(shù)學(xué)手段實(shí)現(xiàn)更好的效果,但是那樣大概就屬于研究的范圍了。
這些數(shù)學(xué)多練習(xí)練習(xí)就會(huì)了,畢竟只是工具,也不需要理解的很深。因?yàn)槔щy之處在于網(wǎng)絡(luò),而不在于節(jié)點(diǎn)。復(fù)雜的問題在于許多節(jié)點(diǎn)構(gòu)成的復(fù)雜神經(jīng)網(wǎng)絡(luò)的特性,而不是每個(gè)節(jié)點(diǎn)的形式。
曾經(jīng)我也有一個(gè)想法,將物理系統(tǒng)也視為這樣的基本動(dòng)力學(xué)節(jié)點(diǎn)與復(fù)雜相互作用網(wǎng)絡(luò)構(gòu)成的復(fù)雜物理系統(tǒng),這樣的手段其實(shí)在場(chǎng)論中早已出現(xiàn),但是問題和機(jī)器學(xué)習(xí)一樣,他只具備可計(jì)算性,不具備可理解性。對(duì)于一個(gè)無法完全理解的事物,用起來總會(huì)感覺不踏實(shí)。只是,對(duì)于復(fù)雜網(wǎng)絡(luò)而言,當(dāng)前的計(jì)算能力遠(yuǎn)遠(yuǎn)不夠,因?yàn)槔斫猓鸵馕吨耆枋雠c分類,而多節(jié)點(diǎn)有向帶權(quán)無環(huán)圖的所有可能構(gòu)型是絕對(duì)的天文數(shù)字。或許比可觀測(cè)宇宙中的所有粒子數(shù)都要多,所以,這個(gè)任務(wù)可能是永遠(yuǎn)都無法完成的。即使他孕育出了智能,也不太可能,就像詢問一個(gè)人你的大腦是怎么工作的,想必只會(huì)得到一個(gè)疑惑的眼神。
作者:張雨辰
https://www.zhihu.com/question/597884858/answer/3005911730
把大一的微積分、線性代數(shù)、概率論這三門課學(xué)扎實(shí)了,足矣。但遺憾的是,根據(jù)我的經(jīng)驗(yàn),能達(dá)到這個(gè)標(biāo)準(zhǔn)的人不多。不信的話,看你能不能在面試的時(shí)候答出這兩個(gè)簡(jiǎn)單的問題:
1. 對(duì)可逆的方陣,證明它的左逆矩陣等于右逆矩陣。
2. 假設(shè)有一個(gè)二分類問題,真實(shí)標(biāo)簽屬于{True, False},且可能性各占一半。現(xiàn)有3個(gè)標(biāo)注員獨(dú)立進(jìn)行了標(biāo)注,標(biāo)簽分別是L1,L2,L3。已知這3人的標(biāo)注正確率分別是p1,p2,p3。怎樣計(jì)算真實(shí)標(biāo)簽為True的概率?
作者:Hunto
https://www.zhihu.com/question/597884858/answer/3006904202
作為發(fā)(水)過挺多篇CV/ML頂會(huì)的數(shù)學(xué)菜雞來回答一下~
從研究/發(fā)論文上看,很多AI方向其實(shí)并不需要太多數(shù)學(xué)基礎(chǔ),大多數(shù)人做的工作都是改改模型之類的。我在研究中一般就是求求導(dǎo),本科微積分的知識(shí)就夠用了。
當(dāng)然也有很多方向是需要推公式的。
在研究這塊可以各取所長(zhǎng),推不出復(fù)雜的公式也一樣可以發(fā)論文。
但并不代表你可以不重視數(shù)學(xué)。數(shù)學(xué)在AI里是一個(gè)工具,當(dāng)你發(fā)現(xiàn)你的論文中需要依靠數(shù)學(xué)證明的時(shí)候,花時(shí)間好好推一下還是必要的。
所以我的建議是,你可以先入門機(jī)器學(xué)習(xí),在需要數(shù)學(xué)的時(shí)候再補(bǔ)足對(duì)應(yīng)的能力。
作者:未雨綢繆
https://www.zhihu.com/question/597884858/answer/3005975503
大量事實(shí)表明,很多人都對(duì)數(shù)學(xué)有著天生的恐懼,這其中也包括著廣大程序員。
可隨著機(jī)器學(xué)習(xí)的興起,人工智能時(shí)代的到來,數(shù)學(xué)顯得尤其重要……
如果想成為一名人工智能人才,那便不得不要拿出很大一部分時(shí)間投入到數(shù)學(xué)的學(xué)習(xí)中。但是入門機(jī)器學(xué)習(xí)需要哪種程度的數(shù)學(xué)水平?
首先,我可以很負(fù)責(zé)任地說,機(jī)器學(xué)習(xí)需要學(xué)習(xí)數(shù)學(xué)。那些告訴你機(jī)器學(xué)習(xí)可以不需要學(xué)數(shù)學(xué)而且點(diǎn)擊就送的教程,不好說都是騙人的,至少可以肯定無法讓你真正讀懂機(jī)器學(xué)習(xí)的靈魂。
同時(shí),我可以很負(fù)責(zé)任地說,學(xué)機(jī)器學(xué)習(xí)不需要需很多數(shù)學(xué)。學(xué)機(jī)器學(xué)習(xí),目的很重要,機(jī)器學(xué)習(xí)如果是一座金字塔,它的塔基就是數(shù)學(xué),如果你要為金字塔添磚加瓦,譬如提出新的算法,或者改進(jìn)現(xiàn)有算法,那你肯定得對(duì)數(shù)學(xué)十分了解。
不過,如果更想要的是了解金字塔結(jié)構(gòu),以及怎么解決你手頭上讓你睡得不香的問題,那你只需要了解數(shù)學(xué)這門“語言”。是的,平時(shí)我們描述一件事,會(huì)用漢語,或者用英語,而在機(jī)器學(xué)習(xí)這里,描述一件事用的是“數(shù)學(xué)語”,你要做的只是聽懂它,或者找一個(gè)人來把它翻譯成你能聽懂的話。
那機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)怎么學(xué)呢?經(jīng)常有人問的一個(gè)問題是,要不要先學(xué)完數(shù)學(xué)再來學(xué)機(jī)器學(xué)習(xí)。這種想法的出發(fā)點(diǎn)我很贊賞,夯實(shí)基礎(chǔ)才好筑高塔,不過,數(shù)學(xué)畢竟家大業(yè)大,子領(lǐng)域非常多,就算是職業(yè)數(shù)學(xué)家也只能了解自己領(lǐng)域的數(shù)學(xué)知識(shí),而且,像機(jī)器學(xué)習(xí)這種大家一起開腦洞構(gòu)建起來的學(xué)科,自然會(huì)橫跨多個(gè)數(shù)學(xué)領(lǐng)域,如果真的要都學(xué)完然后才開始,恐怕就沒有然后了。
好在數(shù)學(xué)知識(shí)如果是大海汪洋,那機(jī)器學(xué)習(xí)用到的數(shù)學(xué)知識(shí)那只是弱水一瓢,我推薦按需學(xué)習(xí)法,大概了解機(jī)器學(xué)習(xí)都要用到哪些數(shù)學(xué)知識(shí),有個(gè)整體印象,然后再根據(jù)需要深入學(xué)習(xí)。
知道了機(jī)器學(xué)習(xí)該怎么學(xué),那又該學(xué)什么呢?大概分為三大塊,概率統(tǒng)計(jì)、線性代數(shù)和優(yōu)化方法。概率統(tǒng)計(jì)是機(jī)器學(xué)習(xí)的靈魂,機(jī)器學(xué)習(xí)的很多模型方法,追根溯源都是從統(tǒng)計(jì)學(xué)中發(fā)展而來,可謂是思想的源泉,其中頻繁用到貝葉斯公式的相關(guān)概念,可以重點(diǎn)學(xué)習(xí)。
線性代數(shù)是機(jī)器學(xué)習(xí)的骨架,具體涉及到運(yùn)算的,都離不開線性代數(shù)的知識(shí)。不過,線性代數(shù)是數(shù)學(xué)中很重要的一條學(xué)科分支,內(nèi)容還是非常多,怎么辦呢?那就重點(diǎn)學(xué)習(xí)矩陣運(yùn)算相關(guān)的內(nèi)容,線性代數(shù)在機(jī)器學(xué)習(xí)方面發(fā)揮作用的,主要就是矩陣運(yùn)算。
以上兩塊都是數(shù)學(xué)大類下的具體子類,機(jī)器學(xué)習(xí)還有一塊需要數(shù)學(xué)基礎(chǔ)的內(nèi)容,通常稱為優(yōu)化方法,這個(gè)領(lǐng)域?qū)儆跈C(jī)器學(xué)習(xí)私人定制的數(shù)學(xué)子領(lǐng)域,重點(diǎn)是研究一類數(shù)學(xué)問題,凸優(yōu)化問題。
凸優(yōu)化名字聽起挺嚇人,讓人覺得是好像是什么高深的研究放棄,其實(shí)要做的事非常簡(jiǎn)單,就是花樣求極值,最終目的是實(shí)現(xiàn)max函數(shù)和min函數(shù)類似的效果。既然是花樣求極值,花樣自然挺不少,內(nèi)容足夠?qū)懸槐緷M是公式很厚的書,不過,重點(diǎn)是梯度下降,搞懂什么是梯度,為什么下降就能達(dá)到求極值的效果,大的方向也就了然于胸了。
聲明:部分內(nèi)容來源于網(wǎng)絡(luò),僅供讀者學(xué)習(xí)、交流之目的。文章版權(quán)歸原作者所有。如有不妥,請(qǐng)聯(lián)系刪除。
