<kbd id="afajh"><form id="afajh"></form></kbd>
<strong id="afajh"><dl id="afajh"></dl></strong>
    <del id="afajh"><form id="afajh"></form></del>
        1. <th id="afajh"><progress id="afajh"></progress></th>
          <b id="afajh"><abbr id="afajh"></abbr></b>
          <th id="afajh"><progress id="afajh"></progress></th>

          10 個 Python 自動探索性數(shù)據(jù)分析神庫!

          共 6731字,需瀏覽 14分鐘

           ·

          2024-08-02 07:27

          ??我的小冊 45章教程:(小白零基礎(chǔ)用Python量化股票分析小冊) ,原價299,限時特價2杯咖啡,滿100人漲10元。
          轉(zhuǎn)自:公眾號丨數(shù)據(jù)STUDIO
          探索性數(shù)據(jù)分析是數(shù)據(jù)科學模型開發(fā)和數(shù)據(jù)集研究的重要組成部分之一。在拿到一個新數(shù)據(jù)集時首先就需要花費大量時間進行EDA來研究數(shù)據(jù)集中內(nèi)在的信息。自動化的EDA Python包可以用幾行Python代碼執(zhí)行EDA。
          在本文中整理了10個可以自動執(zhí)行EDA并生成有關(guān)數(shù)據(jù)的見解的Python包,看看他們都有什么功能,能在多大程度上幫我們自動化解決EDA的需求。
          1. DTale
          2. Pandas-profiling
          3. sweetviz
          4. autoviz
          5. dataprep
          6. KLib
          7. dabl
          8. speedML
          9. datatile
          10. edaviz

          1、D-Tale

          D-Tale使用Flask作為后端、React前端并且可以與ipython notebook和終端無縫集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。
             
          import dtale
          import pandas as pd
          dtale.show(pd.read_csv("titanic.csv"))
          D-Tale庫用一行代碼就可以生成一個報告,其中包含數(shù)據(jù)集、相關(guān)性、圖表和熱圖的總體總結(jié),并突出顯示缺失的值等。D-Tale還可以為報告中的每個圖表進行分析,上面截圖中我們可以看到圖表是可以進行交互操作的。
          2、Pandas-Profiling
          Pandas-Profiling可以生成Pandas DataFrame的概要報告。panda-profiling擴展了pandas DataFrame df.profile_report(),并且在大型數(shù)據(jù)集上工作得非常好,它可以在幾秒鐘內(nèi)創(chuàng)建報告。
             
          #Install the below libaries before importing
          import pandas as pd
          from pandas_profiling import ProfileReport

          #EDA using pandas-profiling
          profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

          #Saving results to a HTML file
          profile.to_file("output.html")




          3、Sweetviz
          Sweetviz是一個開源的Python庫,只需要兩行Python代碼就可以生成漂亮的可視化圖,將EDA(探索性數(shù)據(jù)分析)作為一個HTML應(yīng)用程序啟動。Sweetviz包是圍繞快速可視化目標值和比較數(shù)據(jù)集構(gòu)建的。
             
          import pandas as pd
          import sweetviz as sv

          #EDA using Autoviz
          sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

          #Saving results to HTML file
          sweet_report.show_html('sweet_report.html')
          Sweetviz庫生成的報告包含數(shù)據(jù)集、相關(guān)性、分類和數(shù)字特征關(guān)聯(lián)等的總體總結(jié)。
          4、AutoViz
          Autoviz包可以用一行代碼自動可視化任何大小的數(shù)據(jù)集,并自動生成HTML、bokeh等報告。用戶可以與AutoViz包生成的HTML報告進行交互。
             
          import pandas as pd
          from autoviz.AutoViz_Class import AutoViz_Class

          #EDA using Autoviz
          autoviz = AutoViz_Class().AutoViz('train.csv')




          5、Dataprep
          Dataprep是一個用于分析、準備和處理數(shù)據(jù)的開源Python包。DataPrep構(gòu)建在Pandas和Dask DataFrame之上,可以很容易地與其他Python庫集成。
          DataPrep的運行速度這10個包中最快的,他在幾秒鐘內(nèi)就可以為Pandas/Dask DataFrame生成報告。
             
          from dataprep.datasets import load_dataset
          from dataprep.eda import create_report

          df = load_dataset("titanic.csv")
          create_report(df).show_browser()
          6、Klib
          klib是一個用于導入、清理、分析和預(yù)處理數(shù)據(jù)的Python庫。
             
          import klib
          import pandas as pd

          df = pd.read_csv('DATASET.csv')
          klib.missingval_plot(df)
             
          klib.corr_plot(df_cleaned, annot=False)

             
          klib.dist_plot(df_cleaned['Win_Prob'])



             
          klib.cat_plot(df, figsize=(50,15))



          klibe雖然提供了很多的分析函數(shù),但是對于每一個分析需要我們手動的編寫代碼,所以只能說是半自動化的操作,但是如果我們需要更定制化的分析,他是非常方便的。

          7、Dabl

          Dabl不太關(guān)注單個列的統(tǒng)計度量,而是更多地關(guān)注通過可視化提供快速概述,以及方便的機器學習預(yù)處理和模型搜索。
          dabl中的Plot()函數(shù)可以通過繪制各種圖來實現(xiàn)可視化,包括:
          • 目標分布圖
          • 散點圖
          • 線性判別分析
             
          import pandas as pd
          import dabl

          df = pd.read_csv("titanic.csv")
          dabl.plot(df, target_col="Survived")

          8、Speedml

          SpeedML是用于快速啟動機器學習管道的Python包。SpeedML整合了一些常用的ML包,包括 Pandas,Numpy,Sklearn,Xgboost 和 Matplotlib,所以說其實SpeedML不僅僅包含自動化EDA的功能。
          SpeedML官方說,使用它可以基于迭代進行開發(fā),將編碼時間縮短了70%。
             
          from speedml import Speedml

          sml = Speedml('../input/train.csv''../input/test.csv',
                      target = 'Survived', uid = 'PassengerId')
          sml.train.head()

             
          sml.plot.correlate()
             
          sml.plot.distribute()
             
          sml.plot.ordinal('Parch')
             
          sml.plot.ordinal('SibSp')
             
          sml.plot.continuous('Age')

          9、DataTile

          DataTile(以前稱為Pandas-Summary)是一個開源的Python軟件包,負責管理,匯總和可視化數(shù)據(jù)。DataTile基本上是PANDAS DataFrame describe()函數(shù)的擴展。
             
          import pandas as pd
          from datatile.summary.df import DataFrameSummary

          df = pd.read_csv('titanic.csv')
          dfs = DataFrameSummary(df)
          dfs.summary()

          10、edaviz

          edaviz是一個可以在Jupyter Notebook和Jupyter Lab中進行數(shù)據(jù)探索和可視化的python庫,他本來是非常好用的,但是后來被磚廠(Databricks)收購并且整合到bamboolib 中,所以這里就簡單的給個演示。

          總結(jié)
          在本文中,我們介紹了10個自動探索性數(shù)據(jù)分析Python軟件包,這些軟件包可以在幾行Python代碼中生成數(shù)據(jù)摘要并進行可視化。通過自動化的工作可以節(jié)省我們的很多時間。
          Dataprep是我最常用的EDA包,AutoViz和D-table也是不錯的選擇,如果你需要定制化分析可以使用Klib,SpeedML整合的東西比較多,單獨使用它啊進行EDA分析不是特別的適用,其他的包可以根據(jù)個人喜好選擇,其實都還是很好用的,最后edaviz就不要考慮了,因為已經(jīng)不開源了。

          最后推薦一下我們團隊寫的量化小冊的內(nèi)容,45篇內(nèi)容!從Python安裝,入門,數(shù)據(jù)分析,爬取股票基金的歷史+實時數(shù)據(jù),以及如何寫一個簡單量化策略,策略回測,如何看資金曲線統(tǒng)統(tǒng)都有介紹!非常超值!

          歡迎訂閱:原價299 早鳥價2杯咖啡錢,即可永久閱讀。滿400人又要漲價了,現(xiàn)在的價格非常非常低,只要2杯奶茶,就可以終身訂閱+課程源碼,還有永久陪伴群。48小時無理由退款,放心食用!


          往期推薦

          量化: 如何用Python爬取創(chuàng)業(yè)板歷史+實時股票數(shù)據(jù)!實戰(zhàn)股票分析篇利用Pandas 9招挖掘五糧液股價實戰(zhàn)股票數(shù)據(jù)分析篇 Pandas滾動操作 |量化股票第一步,用Python畫股票K線,雙均線圖,可視化你的股票數(shù)據(jù)!如何用Python爬取全部800多只ETF基金數(shù)據(jù)!如何用Python寫一個雙均線策略 |如何用Python開發(fā)一個多策略機器人!上篇!Python量化系列-用布林策略買五糧液能賺多少錢?只要4秒鐘!用Python 獲取上證指數(shù)34年的歷史日線數(shù)據(jù)!


          入門: 最全的零基礎(chǔ)學Python的問題  | 零基礎(chǔ)學了8個月的Python  | 實戰(zhàn)項目 |學Python就是這條捷徑


          干貨:爬取豆瓣短評,電影《后來的我們》 | 38年NBA最佳球員分析 |   從萬眾期待到口碑撲街!唐探3令人失望  | 笑看新倚天屠龍記 | 燈謎答題王 |用Python做個海量小姐姐素描圖 |碟中諜這么火,我用機器學習做個迷你推薦系統(tǒng)電影


          趣味:彈球游戲  | 九宮格  | 漂亮的花 | 兩百行Python《天天酷跑》游戲!

          AI: 會做詩的機器人 | 給圖片上色 | 預(yù)測收入 | 碟中諜這么火,我用機器學習做個迷你推薦系統(tǒng)電影

          小工具: Pdf轉(zhuǎn)Word,輕松搞定表格和水印! | 一鍵把html網(wǎng)頁保存為pdf!|  再見PDF提取收費! | 用90行代碼打造最強PDF轉(zhuǎn)換器,word、PPT、excel、markdown、html一鍵轉(zhuǎn)換 | 制作一款釘釘?shù)蛢r機票提示器! |60行代碼做了一個語音壁紙切換器天天看小

              

          瀏覽 184
          1點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          評論
          圖片
          表情
          推薦
          1點贊
          評論
          收藏
          分享

          手機掃一掃分享

          分享
          舉報
          <kbd id="afajh"><form id="afajh"></form></kbd>
          <strong id="afajh"><dl id="afajh"></dl></strong>
            <del id="afajh"><form id="afajh"></form></del>
                1. <th id="afajh"><progress id="afajh"></progress></th>
                  <b id="afajh"><abbr id="afajh"></abbr></b>
                  <th id="afajh"><progress id="afajh"></progress></th>
                  91n成人久久 | 国产又爽又黄在线 | a 视频在线观看 | 男人日逼式看 | 中文字幕亚洲视频在线观看 |