金融科技行業(yè)，我接觸的主要數(shù)據(jù)格式：

• 1 csv格式或者xlsx格式，輕量級的數(shù)據(jù)格式

• 2 SAS軟件數(shù)據(jù)格式，通過SAS軟件處理和保存的數(shù)據(jù)

• 3 數(shù)據(jù)庫表格數(shù)據(jù)，關(guān)系數(shù)據(jù)庫或者數(shù)據(jù)平臺的數(shù)據(jù)表

• 4 第三方數(shù)據(jù)API調(diào)用傳送數(shù)據(jù)json格式

金融科技行業(yè)的數(shù)據(jù)科學(xué)工作，不管是探索，還是分析，還是建模，我們要先導(dǎo)入數(shù)據(jù)。

如何有效地導(dǎo)入數(shù)據(jù)呢？我的經(jīng)驗分享如下：

• 1 首先，清楚數(shù)據(jù)的格式

• 2 其次，選擇合適的技術(shù)棧

• 3 第三，編寫代碼導(dǎo)入數(shù)據(jù)

• 4 最后，數(shù)據(jù)檢視

01

導(dǎo)入csv格式或者xlxs格式數(shù)據(jù)

1.1 Python語言

使用pandas庫的read_csv函數(shù)導(dǎo)入csv和read_excel函數(shù)導(dǎo)入xlxs格式
參考代碼

import pandas as pd
germancredit1 = pd.read_csv('germancredit.csv')
germancredit2 = pd.read_excel('germancredit.xlsx')

1.2 R語言

使用readr包的read_csv函數(shù)導(dǎo)入csv格式
使用readxl包的read_excel函數(shù)導(dǎo)入xlsx數(shù)據(jù)格式
參考代碼

library(readr)
credit_data1 <- read_csv('germancredit.csv')

library(readxl)
credit_data2 <- read_excel('germancredit.xlsx')

02

SAS軟件保存的數(shù)據(jù)

2.1 Python

使用pandas庫的read_sas函數(shù)。
參考代碼

import pandas as pd
iris = pd.read_sas('iris.sas7bdat')
iris.head()

2.1 R語言

使用haven包的read_sas函數(shù)。
參考代碼

library(tidyverse)
iris_data <- read_sas('iris.sas7bdat')
iris_data %>% 
    slice_head(n = 10)

03

數(shù)據(jù)庫表

3.1 Python語言

使用pyodbc庫從數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)表，需要在Win系統(tǒng)或者Linux先配置好ODBC。
或者
使用針對特定數(shù)據(jù)庫讀寫操作的庫。
例如：

• 1 使用psycopg2庫訪問和獲取PostgreSQL數(shù)據(jù)庫的數(shù)據(jù)表。

• 2 使用pyhive庫訪問和獲取大數(shù)據(jù)平臺Hive數(shù)倉的數(shù)據(jù)表

3.2 R語言

使用RODBC包從數(shù)據(jù)導(dǎo)入數(shù)據(jù)表，需要在Win系統(tǒng)或者Linux先配置好ODBC。
或者
使用針對特定數(shù)據(jù)庫讀寫操作的包。
例如：

• 1 使用RPostgreSQL包訪問和獲取PostgreSQL數(shù)據(jù)庫的數(shù)據(jù)表

• 2 使用RMySQL包訪問和獲取MYSQL數(shù)據(jù)庫的數(shù)據(jù)表

04

第三方數(shù)據(jù)返回的json格式

4.1 Python語言

使用pandas庫的read_json函數(shù)。
參考代碼

import pandas as pd
iris_data = pd.read_json('iris.json')
iris_data.head()

4.2 R語言

使用jsonlite包的fromJSON函數(shù)。
參考代碼

library(jsonlite)
iris_data <- fromJSON('iris.json')
iris_data %>% head()

數(shù)據(jù)導(dǎo)入是開始數(shù)據(jù)工作的第一步。

開個好頭，讓數(shù)據(jù)工作順利推進(jìn)。

關(guān)于金融科技行業(yè)的數(shù)據(jù)格式和數(shù)據(jù)導(dǎo)入，請?zhí)砑游业奈⑿牛黄鹩懻摗?/p>