Python|我在項(xiàng)目中常用的Python庫(kù)
《學(xué)習(xí)筆記》專欄·第24篇
文 | Pyer
1592字 | 4分鐘閱讀
【數(shù)據(jù)科學(xué)與人工智能】開(kāi)通了Python語(yǔ)言群和機(jī)器學(xué)習(xí)群,大家可以相互學(xué)習(xí)和交流。請(qǐng)掃描下方二維碼,備注:姓名-Py或姓名-ML,添加我為好友,誠(chéng)邀你入群,一起進(jìn)步。
我在做數(shù)據(jù)挖掘項(xiàng)目的時(shí)候,會(huì)常用這些Python庫(kù),通過(guò)它們,幫助我做數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)探索、數(shù)據(jù)分析、數(shù)據(jù)建模和數(shù)據(jù)可視化。
1 numpy庫(kù)
它在項(xiàng)目中主要用來(lái)做一些數(shù)值運(yùn)算,比方說(shuō)數(shù)據(jù)的轉(zhuǎn)換、統(tǒng)計(jì)性描述里面分位數(shù)計(jì)算等。這個(gè)庫(kù)提供的數(shù)組結(jié)構(gòu),可以進(jìn)行向量化運(yùn)算,提升了計(jì)算的效率。
2 pandas庫(kù)
它在項(xiàng)目用于做數(shù)據(jù)的獲取,比方說(shuō)從數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)或者獲取本地格式文件,數(shù)據(jù)處理,比方說(shuō)缺失值處理,數(shù)據(jù)選擇,比方說(shuō)樣本選擇和變量選擇,數(shù)據(jù)聚合運(yùn)算,數(shù)據(jù)集成操作,數(shù)據(jù)的向量化操作,數(shù)據(jù)的移位操作和窗口加工以擴(kuò)充特征集,數(shù)據(jù)集可視化等。我會(huì)經(jīng)常翻閱這個(gè)庫(kù)的官方文檔,學(xué)習(xí)相關(guān)函數(shù)的使用。
官方文檔下載鏈接:
http://tfcs.tpddns.cn:15888/f/08b9f766a4b147dea9a3/
3 matplotlib庫(kù)
它在項(xiàng)目中用于做數(shù)據(jù)可視化,通過(guò)數(shù)據(jù)可視化,一方面,可以做數(shù)據(jù)的探索性分析,另一方面做數(shù)據(jù)結(jié)果的呈現(xiàn)和表示。我常用的圖形包括散點(diǎn)圖、折線圖、條形圖、柱狀圖、直方圖、核密度曲線圖、熱力圖和雷達(dá)圖等。
伙伴們,請(qǐng)思考一個(gè)問(wèn)題:matplotlib庫(kù)繪圖時(shí),figure和axes有什么區(qū)別?請(qǐng)留言。
4 scikit-learn庫(kù)
它在項(xiàng)目中用于做傳統(tǒng)的機(jī)器學(xué)習(xí)算法,包括有監(jiān)督的學(xué)習(xí),分類問(wèn)題和回歸問(wèn)題,無(wú)監(jiān)督的學(xué)習(xí),聚類問(wèn)題和降維問(wèn)題,以及數(shù)據(jù)的預(yù)處理,數(shù)據(jù)的劃分,奇異值檢測(cè),特征選擇等。我會(huì)常用到里面多元線性回歸模型、邏輯回歸模型、決策樹(shù)模型、隨機(jī)森林模型、梯度提升樹(shù)模型、K均值模型、PCA算法、特征選擇的算法等。
5 statsmodels庫(kù)
它在項(xiàng)目中用于做統(tǒng)計(jì)模型相關(guān)的事情,比方說(shuō)OLS模型構(gòu)建和結(jié)果分析,以及經(jīng)典的時(shí)間序列分析和預(yù)測(cè)模型,比方說(shuō)ARIMA算法,包括平穩(wěn)性序列檢驗(yàn),超參數(shù)p,d,q階的確定,以及ARIMA模型的建構(gòu)。
6 keras庫(kù)
它在項(xiàng)目中用于做深度學(xué)習(xí)相關(guān)的事情,它以tensorflow做后端計(jì)算框架,tensorflow2.0及以上已經(jīng)內(nèi)置了keras,換而言之,我們可以通過(guò)keras框架,類似搭建積木一樣,來(lái)設(shè)計(jì)和構(gòu)建深度學(xué)習(xí)框架,把深度學(xué)習(xí)技術(shù)應(yīng)用到實(shí)際問(wèn)題。
7 xgboost庫(kù)
它在項(xiàng)目中用作xgboost算法和模型,這個(gè)算法在學(xué)術(shù)界和工業(yè)界,都有著廣泛的用途。算法的原理,可以參考這篇論文。
https://arxiv.org/pdf/1603.02754.pdf
在我所從事的金融科技領(lǐng)域,還會(huì)用到其它一些算法,比方說(shuō)lightgbm,catboost等,這些算法都有相應(yīng)的庫(kù),還有一個(gè)用于做評(píng)分模型的庫(kù):toad庫(kù)。
朋友們,你們?cè)陧?xiàng)目中會(huì)用到那些Python庫(kù),請(qǐng)留言。
需要學(xué)習(xí)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)與技能的伙伴們,可以查閱李宏毅老師的機(jī)器學(xué)習(xí)課程,這門課程的學(xué)習(xí)筆記和觀看視頻如下,會(huì)持續(xù)更新。
1 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻1機(jī)器學(xué)習(xí)的簡(jiǎn)介
2 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻2為什么學(xué)習(xí)機(jī)器學(xué)習(xí)
3 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻3回歸案例研究
4 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻4回歸示例
5 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻5錯(cuò)誤來(lái)自哪里?
6 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻6梯度下降
7 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻7梯度下降實(shí)例1
8 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻8梯度下降實(shí)例2
9 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻9分類
10 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻10邏輯回歸
11 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻11深度學(xué)習(xí)簡(jiǎn)介
12 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻12反向傳播算法
13 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻13深度學(xué)習(xí)的Helloworld
14 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻14Keras2.0
15 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻15Keras Demo
16 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻16DNN訓(xùn)練的Tips
17 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻17Keras Demo2
18 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻18Fizz Buzz in Tensorflow
19 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻19卷積神經(jīng)網(wǎng)絡(luò)
20 筆記|李宏毅老師機(jī)器學(xué)習(xí)課程,視頻20Why Deep Learning?
每周一書(shū)
