精選10個Python庫，幾行代碼輕松搞定探索性數(shù)據(jù)分析！

1. DTale
2. Pandas-profiling
3. sweetviz
4. autoviz
5. dataprep
6. KLib
7. dabl
8. speedML
9. datatile
10. edaviz

1、D-Tale

D-Tale使用Flask作為后端、React前端并且可以與ipython notebook和終端無縫集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))

D-Tale庫用一行代碼就可以生成一個報告，其中包含數(shù)據(jù)集、相關(guān)性、圖表和熱圖的總體總結(jié)，并突出顯示缺失的值等。D-Tale還可以為報告中的每個圖表進行分析，上面截圖中我們可以看到圖表是可以進行交互操作的。

2、Pandas-Profiling

Pandas-Profiling可以生成Pandas DataFrame的概要報告。panda-profiling擴展了pandas DataFrame df.profile_report()，并且在大型數(shù)據(jù)集上工作得非常好，它可以在幾秒鐘內(nèi)創(chuàng)建報告。

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")

3、Sweetviz

Sweetviz是一個開源的Python庫，只需要兩行Python代碼就可以生成漂亮的可視化圖，將EDA(探索性數(shù)據(jù)分析)作為一個HTML應(yīng)用程序啟動。Sweetviz包是圍繞快速可視化目標值和比較數(shù)據(jù)集構(gòu)建的。

import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')

Sweetviz庫生成的報告包含數(shù)據(jù)集、相關(guān)性、分類和數(shù)字特征關(guān)聯(lián)等的總體總結(jié)。

4、AutoViz

Autoviz包可以用一行代碼自動可視化任何大小的數(shù)據(jù)集，并自動生成HTML、bokeh等報告。用戶可以與AutoViz包生成的HTML報告進行交互。

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')

5、Dataprep

Dataprep是一個用于分析、準備和處理數(shù)據(jù)的開源Python包。DataPrep構(gòu)建在Pandas和Dask DataFrame之上，可以很容易地與其他Python庫集成。

DataPrep的運行速度這10個包中最快的，他在幾秒鐘內(nèi)就可以為Pandas/Dask DataFrame生成報告。

from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()

6、Klib

klib是一個用于導(dǎo)入、清理、分析和預(yù)處理數(shù)據(jù)的Python庫。

import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)

klib.corr_plot(df_cleaned, annot=False)

klib.dist_plot(df_cleaned['Win_Prob'])

klib.cat_plot(df, figsize=(50,15))

klibe雖然提供了很多的分析函數(shù)，但是對于每一個分析需要我們手動的編寫代碼，所以只能說是半自動化的操作，但是如果我們需要更定制化的分析，他是非常方便的。

7、Dabl

Dabl不太關(guān)注單個列的統(tǒng)計度量，而是更多地關(guān)注通過可視化提供快速概述，以及方便的機器學(xué)習(xí)預(yù)處理和模型搜索。

dabl中的Plot()函數(shù)可以通過繪制各種圖來實現(xiàn)可視化，包括:

• 目標分布圖
• 散點圖
• 線性判別分析

import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")

8、Speedml

SpeedML是用于快速啟動機器學(xué)習(xí)管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以說其實SpeedML不僅僅包含自動化EDA的功能。

SpeedML官方說，使用它可以基于迭代進行開發(fā)，將編碼時間縮短了70％。

from speedml import Speedml

sml = Speedml('../input/train.csv', '../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()

sml.plot.correlate()

sml.plot.distribute()

sml.plot.ordinal('Parch')

sml.plot.ordinal('SibSp')

sml.plot.continuous('Age')

9、DataTile

DataTile（以前稱為Pandas-Summary）是一個開源的Python軟件包，負責(zé)管理，匯總和可視化數(shù)據(jù)。DataTile基本上是PANDAS DataFrame describe（）函數(shù)的擴展。

import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()

10、edaviz

edaviz是一個可以在Jupyter Notebook和Jupyter Lab中進行數(shù)據(jù)探索和可視化的python庫，他本來是非常好用的，但是后來被磚廠(Databricks)收購并且整合到bamboolib 中，所以這里就簡單的給個演示。

總結(jié)

在本文中，我們介紹了10個自動探索性數(shù)據(jù)分析Python軟件包，這些軟件包可以在幾行Python代碼中生成數(shù)據(jù)摘要并進行可視化。通過自動化的工作可以節(jié)省我們的很多時間。

Dataprep是我最常用的EDA包，AutoViz和D-table也是不錯的選擇，如果你需要定制化分析可以使用Klib，SpeedML整合的東西比較多，單獨使用它啊進行EDA分析不是特別的適用，其他的包可以根據(jù)個人喜好選擇，其實都還是很好用的，最后edaviz就不要考慮了，因為已經(jīng)不開源了。