區(qū)區(qū)幾行Python代碼，就能實(shí)現(xiàn)全面自動(dòng)探索性數(shù)據(jù)分析！

1. DTale
2. Pandas-profiling
3. sweetviz
4. autoviz
5. dataprep
6. KLib
7. dabl
8. speedML
9. datatile
10. edaviz

1、D-Tale

D-Tale使用Flask作為后端、React前端并且可以與ipython notebook和終端無縫集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))

D-Tale庫(kù)用一行代碼就可以生成一個(gè)報(bào)告，其中包含數(shù)據(jù)集、相關(guān)性、圖表和熱圖的總體總結(jié)，并突出顯示缺失的值等。D-Tale還可以為報(bào)告中的每個(gè)圖表進(jìn)行分析，上面截圖中我們可以看到圖表是可以進(jìn)行交互操作的。

2、Pandas-Profiling

Pandas-Profiling可以生成Pandas DataFrame的概要報(bào)告。panda-profiling擴(kuò)展了pandas DataFrame df.profile_report()，并且在大型數(shù)據(jù)集上工作得非常好，它可以在幾秒鐘內(nèi)創(chuàng)建報(bào)告。

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")

3、Sweetviz

Sweetviz是一個(gè)開源的Python庫(kù)，只需要兩行Python代碼就可以生成漂亮的可視化圖，將EDA(探索性數(shù)據(jù)分析)作為一個(gè)HTML應(yīng)用程序啟動(dòng)。Sweetviz包是圍繞快速可視化目標(biāo)值和比較數(shù)據(jù)集構(gòu)建的。

import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')

Sweetviz庫(kù)生成的報(bào)告包含數(shù)據(jù)集、相關(guān)性、分類和數(shù)字特征關(guān)聯(lián)等的總體總結(jié)。

4、AutoViz

Autoviz包可以用一行代碼自動(dòng)可視化任何大小的數(shù)據(jù)集，并自動(dòng)生成HTML、bokeh等報(bào)告。用戶可以與AutoViz包生成的HTML報(bào)告進(jìn)行交互。

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')

5、Dataprep

Dataprep是一個(gè)用于分析、準(zhǔn)備和處理數(shù)據(jù)的開源Python包。DataPrep構(gòu)建在Pandas和Dask DataFrame之上，可以很容易地與其他Python庫(kù)集成。

DataPrep的運(yùn)行速度這10個(gè)包中最快的，他在幾秒鐘內(nèi)就可以為Pandas/Dask DataFrame生成報(bào)告。

from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()

6、Klib

klib是一個(gè)用于導(dǎo)入、清理、分析和預(yù)處理數(shù)據(jù)的Python庫(kù)。

import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)

klib.corr_plot(df_cleaned, annot=False)

klib.dist_plot(df_cleaned['Win_Prob'])

klib.cat_plot(df, figsize=(50,15))

klibe雖然提供了很多的分析函數(shù)，但是對(duì)于每一個(gè)分析需要我們手動(dòng)的編寫代碼，所以只能說是半自動(dòng)化的操作，但是如果我們需要更定制化的分析，他是非常方便的。

7、Dabl

Dabl不太關(guān)注單個(gè)列的統(tǒng)計(jì)度量，而是更多地關(guān)注通過可視化提供快速概述，以及方便的機(jī)器學(xué)習(xí)預(yù)處理和模型搜索。

dabl中的Plot()函數(shù)可以通過繪制各種圖來實(shí)現(xiàn)可視化，包括:

• 目標(biāo)分布圖
• 散點(diǎn)圖
• 線性判別分析

import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")

8、Speedml

SpeedML是用于快速啟動(dòng)機(jī)器學(xué)習(xí)管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以說其實(shí)SpeedML不僅僅包含自動(dòng)化EDA的功能。

SpeedML官方說，使用它可以基于迭代進(jìn)行開發(fā)，將編碼時(shí)間縮短了70％。

from speedml import Speedml

sml = Speedml('../input/train.csv', '../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()

sml.plot.correlate()

sml.plot.distribute()

sml.plot.ordinal('Parch')

sml.plot.ordinal('SibSp')

sml.plot.continuous('Age')

9、DataTile

DataTile（以前稱為Pandas-Summary）是一個(gè)開源的Python軟件包，負(fù)責(zé)管理，匯總和可視化數(shù)據(jù)。DataTile基本上是PANDAS DataFrame describe（）函數(shù)的擴(kuò)展。

import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()

10、edaviz

edaviz是一個(gè)可以在Jupyter Notebook和Jupyter Lab中進(jìn)行數(shù)據(jù)探索和可視化的python庫(kù)，他本來是非常好用的，但是后來被磚廠(Databricks)收購(gòu)并且整合到bamboolib 中，所以這里就簡(jiǎn)單的給個(gè)演示。

總結(jié)

在本文中，我們介紹了10個(gè)自動(dòng)探索性數(shù)據(jù)分析Python軟件包，這些軟件包可以在幾行Python代碼中生成數(shù)據(jù)摘要并進(jìn)行可視化。通過自動(dòng)化的工作可以節(jié)省我們的很多時(shí)間。

Dataprep是我最常用的EDA包，AutoViz和D-table也是不錯(cuò)的選擇，如果你需要定制化分析可以使用Klib，SpeedML整合的東西比較多，單獨(dú)使用它啊進(jìn)行EDA分析不是特別的適用，其他的包可以根據(jù)個(gè)人喜好選擇，其實(shí)都還是很好用的，最后edaviz就不要考慮了，因?yàn)橐呀?jīng)不開源了。