Python讀取數(shù)據(jù)小技巧分享
各位看客，早中晚好。
今日隨筆，介紹python讀取數(shù)據(jù)的一些小技巧。
重要的事說三遍：
做數(shù)據(jù)分析/挖掘/處理，一定要熟練使用pandas！簡單方便快捷！
做數(shù)據(jù)分析/挖掘/處理，一定要熟練使用pandas！簡單方便快捷！
做數(shù)據(jù)分析/挖掘/處理，一定要熟練使用pandas！簡單方便快捷！
pandas讀取csv、txt、excel文件、數(shù)據(jù)庫數(shù)據(jù)：
import pandas as pd#?========?讀取csvdf = pd.read_csv("data.csv")#?========?讀取txtdf?=?pd.read_csv("data.txt",sep?=?"\t")#?========?讀取exceldf?=?pd.read_excel("data.xlsx")# ======== 讀取數(shù)據(jù)庫import?sqlalchemy?as?create_engine#?建立連接con?=?create_engine('mysql+pymysql://user_name:[email protected]:3306/database_name')#?通過查詢讀取df?=?pd.read_sql_query('select?*?from?table',?con)
?
讀取txt文本數(shù)據(jù)：
# 打開文件with open(r"data.txt", "r",encoding='utf8') as f:# 一次性全部 讀取# data = f.read()# print(data)# 讀取成一個list# data = f.readlines()# 一行一行讀取line = f.readline()while line:line = f.readline()print(line)
?
讀取較大的csv文件，最快的方式如下：
import dask.dataframe as ddimport?pandas?as?pd# 讀取csvdf = dd.read_csv("D:/df.csv")# 轉(zhuǎn)為DataFrame?操作df?=?df.compute()
做數(shù)據(jù)的持久化，我選擇采用python 的pickle包，讀寫速度較快：
import pickle#?讀取pkl文件def read_pkl(data_path):with open(data_path, 'rb') as f:????????return?pickle.load(f)#?寫數(shù)據(jù)到pkl文件def save_file(data,data_path):with open(data_path, 'wb') as f:????????pickle.dump(data,?f)
到這。
共勉，感謝查看。
更多干貨敬請期待！
掃描二維碼關(guān)注我吧！
熱門文章：
python實戰(zhàn)：
評論
圖片
表情