Pandas數據探索分析,分享兩個神器!
↑?關注 + 星標?,每天學Python新技能
后臺回復【大禮包】送你Python自學大禮包
在使用 pandas 進行數據分析時,進行一定的數據探索性分析(EDA)是必不可少的一個步驟,例如常見統(tǒng)計指標計算、缺失值、重復值統(tǒng)計等。
使用 df.describe() 等函數進行探索當然是常見操作,但若要進行更完整、詳細的分析缺則略顯不足。
本文就將分享兩個用于數據探索的 pandas 插件。
pandas_profiling
首先要介紹的是pandas_profiling,它擴展了pandas DataFrame的功能,這也是在之前多篇文章中提到的插件。
只需使用pip install pandas_profiling即可安裝,在導入數據之后使用df.profile_report()一行命令即可快速生成描述性分析報告??

可以看到,除了之前我們需要的一些描述性統(tǒng)計數據,該報告還包含以下信息:
“”
類型推斷:檢測數據幀中列的數據類型。 要點:類型,唯一值,缺失值 分位數統(tǒng)計信息,例如最小值,Q1,中位數,Q3,最大值,范圍,四分位數范圍 描述性統(tǒng)計數據,例如均值,眾數,標準偏差,總和,中位數絕對偏差,變異系數,峰度,偏度 最常使用的值 直方圖 相關性矩陣 缺失值矩陣,計數,熱圖和缺失值樹狀圖 文本分析:了解文本數據的類別(大寫,空格),腳本(拉丁,西里爾字母)和塊(ASCII)
進一步我們還以將該報告保存為html格式,方便后續(xù)的查看,感興趣的讀者可以自行嘗試。
sweetviz
第二個值得一用的是 sweetviz,同樣是一個開源 Python 庫,可生成美觀、高密度的可視化,只需兩行代碼即可啟動 EDA。
該插件圍繞快速可視化目標值和比較數據集而構建。它的目標是幫助快速分析目標特征、訓練與測試數據以及其他此類數據特征任務。
安裝方法同上,執(zhí)行pip install sweetviz即可。使用方法也是類似,導入數據后只需兩行代碼即可輸出分析報告
import?sweetviz?as?sv
report?=?sv.analyze(df)
report.show_html()
和 pandas_profiling 不一樣的是,現在我們只能得到一個html文件,打開即可看到相關 EDA 報告??

可以看到,自動生成的報告主要有以下幾個部分
“”
目標分析
顯示目標值,例如泰坦尼克號數據集中的“幸存”,與其他特征的關系) 可視化和比較
不同的數據集(例如訓練與測試數據) 組內特征(例如男性與女性) 混合型聯想
Sweetviz 無縫集成了數值(Pearson 相關)、分類(不確定系數)和分類-數值(相關比)數據類型的關聯,為所有數據類型提供最大的信息。 類型推斷
自動檢測數字、分類和文本特征,可選擇手動覆蓋 概要信息
類型、唯一值、缺失值、重復行、最常見值 數值分析:最小值/最大值/范圍、四分位數、平均值、眾數、標準偏差、總和、中值絕對偏差、變異系數、峰態(tài)、偏度
從上面的介紹我們也能看出,兩個 EDA 的插件側重點有所不同,我們在實際使用時也應該根據數據特征與分析目標靈活使用!
推薦閱讀
評論
圖片
表情
