<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          Pandas數據探索分析,分享兩個神器!

          共 1507字,需瀏覽 4分鐘

           ·

          2021-10-10 09:58

          ↑?關注 + 星標?,每天學Python新技能

          后臺回復【大禮包】送你Python自學大禮包

          在使用 pandas 進行數據分析時,進行一定的數據探索性分析(EDA)是必不可少的一個步驟,例如常見統(tǒng)計指標計算、缺失值、重復值統(tǒng)計等。

          使用 df.describe() 等函數進行探索當然是常見操作,但若要進行更完整、詳細的分析缺則略顯不足。

          本文就將分享兩個用于數據探索的 pandas 插件。

          pandas_profiling

          首先要介紹的是pandas_profiling,它擴展了pandas DataFrame的功能,這也是在之前多篇文章中提到的插件。

          只需使用pip install pandas_profiling即可安裝,在導入數據之后使用df.profile_report()一行命令即可快速生成描述性分析報告??

          可以看到,除了之前我們需要的一些描述性統(tǒng)計數據,該報告還包含以下信息:

          • 類型推斷:檢測數據幀中列的數據類型。
          • 要點:類型,唯一值,缺失值
          • 分位數統(tǒng)計信息,例如最小值,Q1,中位數,Q3,最大值,范圍,四分位數范圍
          • 描述性統(tǒng)計數據,例如均值,眾數,標準偏差,總和,中位數絕對偏差,變異系數,峰度,偏度
          • 最常使用的值
          • 直方圖
          • 相關性矩陣
          • 缺失值矩陣,計數,熱圖和缺失值樹狀圖
          • 文本分析:了解文本數據的類別(大寫,空格),腳本(拉丁,西里爾字母)和塊(ASCII)

          進一步我們還以將該報告保存為html格式,方便后續(xù)的查看,感興趣的讀者可以自行嘗試。

          sweetviz

          第二個值得一用的是 sweetviz,同樣是一個開源 Python 庫,可生成美觀、高密度的可視化,只需兩行代碼即可啟動 EDA。

          該插件圍繞快速可視化目標值和比較數據集而構建。它的目標是幫助快速分析目標特征、訓練與測試數據以及其他此類數據特征任務。

          安裝方法同上,執(zhí)行pip install sweetviz即可。使用方法也是類似,導入數據后只需兩行代碼即可輸出分析報告

          import?sweetviz?as?sv
          report?=?sv.analyze(df)
          report.show_html()

          pandas_profiling 不一樣的是,現在我們只能得到一個html文件,打開即可看到相關 EDA 報告??

          可以看到,自動生成的報告主要有以下幾個部分

          1. 目標分析
            • 顯示目標值,例如泰坦尼克號數據集中的“幸存”,與其他特征的關系)
          2. 可視化和比較
            • 不同的數據集(例如訓練與測試數據)
            • 組內特征(例如男性與女性)
          3. 混合型聯想
            • Sweetviz 無縫集成了數值(Pearson 相關)、分類(不確定系數)和分類-數值(相關比)數據類型的關聯,為所有數據類型提供最大的信息。
          4. 類型推斷
            • 自動檢測數字、分類和文本特征,可選擇手動覆蓋
          5. 概要信息
            • 類型、唯一值、缺失值、重復行、最常見值
            • 數值分析:最小值/最大值/范圍、四分位數、平均值、眾數、標準偏差、總和、中值絕對偏差、變異系數、峰態(tài)、偏度

          從上面的介紹我們也能看出,兩個 EDA 的插件側重點有所不同,我們在實際使用時也應該根據數據特征與分析目標靈活使用!

          推薦閱讀

          1. 人人都要學 Python 的時代過去了!

          2. 知乎:電腦長時間不關機會縮短電腦壽命嗎?

          3. 爆強!將 exe 文件反編譯成 Python 腳本!

          4. 國產Linux發(fā)行版再添一員,操作界面不輸蘋果

          5. Python一行代碼能做什么,30個實用案例代碼詳解


          瀏覽 85
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  91丨豆花丨成人熟女 | 北条麻妃精品99青青久久 | 俺也去新网 | 青青操成人 | 黑逼逼无码区 |