金融科技：技術(shù)棧
在金融科技行業(yè)從事數(shù)據(jù)科學(xué)工作，需要掌握哪些技術(shù)呢？
我以自己的經(jīng)歷，說一下金融科技的技術(shù)棧。
01
數(shù)據(jù)庫技術(shù)
數(shù)據(jù)庫技術(shù)，泛指熟練使用SQL技術(shù)，不僅是各種關(guān)系型數(shù)據(jù)庫的SQL，還有各種大數(shù)據(jù)平臺的SQL，例如Hive-SQL、Spark-SQL等。
對于SQL技術(shù)這塊，我們重點(diǎn)要掌握增刪改查的四種操作，以及與編程語言的交互。
通過SQL技術(shù)，我們可以有效完成如下工作：
1 數(shù)據(jù)的獲取和集成
2 數(shù)據(jù)的簡單統(tǒng)計(jì)與分析
3 數(shù)據(jù)寬表的設(shè)計(jì)和實(shí)現(xiàn)
02
編程技術(shù)
編程技術(shù)，是指我們至少要熟悉一門編程語言，不管是Python語言，還是R語言或者兩者都會。不管Python語言，還是R語言，都可以有效地幫助我們完成數(shù)據(jù)科學(xué)工作流中各個(gè)環(huán)節(jié)的任務(wù)。比方說，數(shù)據(jù)的獲取、數(shù)據(jù)的清洗、數(shù)據(jù)探索、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)報(bào)告等。
若是你用Python語言，你需要掌握這些知識：
1 Python語言基礎(chǔ)知識，元組、列表、字典，條件邏輯和循環(huán)結(jié)構(gòu)，自定義函數(shù)和使用，自定義類和使用，文件管理，字符操作，異常處理等。
2 Python語言做數(shù)據(jù)可視化，掌握matplotlib庫和seaborn庫的使用。
3 Python做科學(xué)計(jì)算，掌握numpy庫和scipy庫的使用。
4 Python做統(tǒng)計(jì)分析，掌握statsmodels庫的使用。
5 Python做數(shù)據(jù)分析，掌握pandas庫的使用。
6 Python做機(jī)器學(xué)習(xí)，掌握scikit-learn庫的使用。
7 Python做評分模型，掌握toad庫和scorecardpy庫的使用。
8 Python做集成樹模型，掌握xgboost庫，lightgbm庫和catboost庫的使用。
9 Python做數(shù)據(jù)報(bào)告，掌握J(rèn)upyter notebook的使用。
10 Python與數(shù)據(jù)庫交互，掌握pyodbc庫。
若是你用R語言，你需要掌握這些知識：
1 R語言基礎(chǔ)知識，向量、數(shù)據(jù)框、列表，條件邏輯和循環(huán)結(jié)構(gòu)，自定義函數(shù)和使用。
2 R做數(shù)據(jù)科學(xué)工作，熟悉tidyverse包。
3 R做評分模型，熟悉scorecard包。
4 R做集成樹模型，熟悉xgboost包，lightgbm包和catboost包。
5 R語言數(shù)據(jù)庫交互，掌握RODBC包。
6 R語言做數(shù)據(jù)報(bào)告，掌握rmarkdown包和shiny包。
03
學(xué)習(xí)算法
金融科技行業(yè)數(shù)據(jù)科學(xué)工作中，我常用的學(xué)習(xí)算法。
1 邏輯回歸算法，五顆星。
2 決策樹算法，四顆星。
3 集成樹算法，包括gbdt, xgboost, lightgbm和catboost，四顆星。
4 聚類算法，k均值算法和GMM算法，四顆星。
5 關(guān)聯(lián)分析，aprior算法，四顆星。
6 特征選擇算法，過濾式選擇、包裹式選擇和嵌入式選擇。過濾式的缺失率、唯一值率、IV值，包裹式的逐步回歸，嵌入式的xgboost的特征重要性，四顆星。
7 神經(jīng)網(wǎng)絡(luò)算法，三顆星。
8 社交網(wǎng)絡(luò)算法，兩顆星。
04
其它技術(shù)
金融科技行業(yè)數(shù)據(jù)科學(xué)工作，其它技術(shù)，羅列如下。
1 版本控制技術(shù)
2 項(xiàng)目管理技術(shù)
3 Linux系統(tǒng)與云計(jì)算技術(shù)
4 報(bào)告撰寫和匯報(bào)技術(shù)
5?模塊化編程和封裝技術(shù)
6 大數(shù)據(jù)平臺知識
7 統(tǒng)計(jì)學(xué)知識
等。
總之，技術(shù)和業(yè)務(wù)相輔相成，技術(shù)服務(wù)業(yè)務(wù)，業(yè)務(wù)需要技術(shù)。
技術(shù)和業(yè)務(wù)可以看作金融科技數(shù)據(jù)科學(xué)人才的“左右手”，我們需要通過持續(xù)學(xué)習(xí)和實(shí)踐，來促進(jìn)共同成長和發(fā)展，以干出更多有價(jià)值和有意義活兒。
技術(shù)這個(gè)東西，請學(xué)以致用，活學(xué)活用。
關(guān)于金融科技做數(shù)據(jù)科學(xué)的技術(shù)棧，你有什么問題或者想法，請?zhí)砑游业奈⑿?，一起討論?/p>
我是陸勤，在金融科技行業(yè)從事數(shù)據(jù)科學(xué)工作，也是一名終身學(xué)習(xí)者。我工作過的內(nèi)容主要包括數(shù)據(jù)清洗和準(zhǔn)備、風(fēng)控評分模型、數(shù)字營銷模型、風(fēng)控策略分析、數(shù)據(jù)建模環(huán)境構(gòu)建和維護(hù)等。我可以提供智能風(fēng)控和數(shù)字營銷的咨詢與服務(wù)。歡迎你添加我微信，一起討論金融科技的數(shù)據(jù)科學(xué)和數(shù)據(jù)人才。
金融科技專輯