10個(gè)可以快速用Python進(jìn)行數(shù)據(jù)分析的小技巧

來(lái)源：towardsdatascience

大數(shù)據(jù)文摘出品    編譯：小七、蔣寶尚

一些小提示和小技巧可能是非常有用的，特別是在編程領(lǐng)域。有時(shí)候使用一點(diǎn)點(diǎn)黑客技術(shù)，既可以節(jié)省時(shí)間，還可能挽救“生命”。

一個(gè)小小的快捷方式或附加組件有時(shí)真是天賜之物，并且可以成為真正的生產(chǎn)力助推器。所以，這里有一些小提示和小技巧，有些可能是新的，但我相信在下一個(gè)數(shù)據(jù)分析項(xiàng)目中會(huì)讓你非常方便。

Profiling（分析器）是一個(gè)幫助我們理解數(shù)據(jù)的過(guò)程，而Pandas Profiling是一個(gè)Python包，它可以簡(jiǎn)單快速地對(duì)Pandas 的數(shù)據(jù)框數(shù)據(jù)進(jìn)行探索性數(shù)據(jù)分析。

Pandas中df.describe()和df.info()函數(shù)可以實(shí)現(xiàn)EDA過(guò)程第一步。但是，它們只提供了對(duì)數(shù)據(jù)非常基本的概述，對(duì)于大型數(shù)據(jù)集沒有太大幫助。而Pandas中的Profiling功能簡(jiǎn)單通過(guò)一行代碼就能顯示大量信息，且在交互式HTML報(bào)告中也是如此。

對(duì)于給定的數(shù)據(jù)集，Pandas中的profiling包計(jì)算了以下統(tǒng)計(jì)信息：

由Pandas Profiling包計(jì)算出的統(tǒng)計(jì)信息包括直方圖、眾數(shù)、相關(guān)系數(shù)、分位數(shù)、描述統(tǒng)計(jì)量、其他信息——類型、單一變量值、缺失值等。

安裝

用pip安裝或者用conda安裝

pip install pandas-profiling conda install -c anaconda pandas-profiling

用法

下面代碼是用很久以前的泰坦尼克數(shù)據(jù)集來(lái)演示多功能Python分析器的結(jié)果。

#importing the necessary packages import pandas as pd import pandas_profilingdf = pd.read_csv('titanic/train.csv') pandas_profiling.ProfileReport(df)

一行代碼就能實(shí)現(xiàn)在Jupyter Notebook中顯示完整的數(shù)據(jù)分析報(bào)告，該報(bào)告非常詳細(xì)，且包含了必要的圖表信息。

還可以使用以下代碼將報(bào)告導(dǎo)出到交互式HTML文件中。

profile = pandas_profiling.ProfileReport(df)profile.to_file(outputfile="Titanic data profiling.html")

Pandas有一個(gè)內(nèi)置的.plot（）函數(shù)作為DataFrame類的一部分。但是，使用此功能呈現(xiàn)的可視化不是交互式的，這使得它沒那么吸引人。同樣，使用pandas.DataFrame.plot（）函數(shù)繪制圖表也不能實(shí)現(xiàn)交互。如果我們需要在不對(duì)代碼進(jìn)行重大修改的情況下用Pandas繪制交互式圖表怎么辦呢？這個(gè)時(shí)候就可以用Cufflinks庫(kù)來(lái)實(shí)現(xiàn)。

Cufflinks庫(kù)可以將有強(qiáng)大功能的plotly和擁有靈活性的pandas結(jié)合在一起，非常便于繪圖。下面就來(lái)看在pandas中如何安裝和使用Cufflinks庫(kù)。

安裝

pip install plotly# Plotly is a pre-requisite before installing cufflinkspip install cufflinks

用法

#importing Pandas  import pandas as pd #importing plotly and cufflinks in offline mode import cufflinks as cfimport plotly.offline cf.go_offline() cf.set_config_file(offline=False, world_readable=True)

是時(shí)候展示泰坦尼克號(hào)數(shù)據(jù)集的魔力了。

df.iplot()

df.iplot() vs df.plot()

右側(cè)的可視化顯示了靜態(tài)圖表，而左側(cè)圖表是交互式的，更詳細(xì)，并且所有這些在語(yǔ)法上都沒有任何重大更改。

Magic命令是Jupyter notebook中的一組便捷功能，旨在解決標(biāo)準(zhǔn)數(shù)據(jù)分析中的一些常見問(wèn)題。使用命令％lsmagic可以看到所有的可用命令。

所有可用的Magic命令列表

Magic命令有兩種：行magic命令（line magics），以單個(gè)％字符為前綴，在單行輸入操作；單元magic命令（cell magics），以雙%%字符為前綴，可以在多行輸入操作。如果設(shè)置為1，則不用鍵入%即可調(diào)用Magic函數(shù)。

接下來(lái)看一些在常見數(shù)據(jù)分析任務(wù)中可能用到的命令：

% pastebin

％pastebin將代碼上傳到Pastebin并返回url。Pastebin是一個(gè)在線內(nèi)容托管服務(wù)，可以存儲(chǔ)純文本，如源代碼片段，然后通過(guò)url可以與其他人共享。事實(shí)上，Github gist也類似于pastebin，只是有版本控制。

在file.py文件中寫一個(gè)包含以下內(nèi)容的python腳本，并試著運(yùn)行看看結(jié)果。

#file.py def foo(x):     return x

在Jupyter Notebook中使用％pastebin生成一個(gè)pastebin url。

%matplotlib notebook

函數(shù)用于在Jupyter notebook中呈現(xiàn)靜態(tài)matplotlib圖。用notebook替換inline，可以輕松獲得可縮放和可調(diào)整大小的繪圖。但記得這個(gè)函數(shù)要在導(dǎo)入matplotlib庫(kù)之前調(diào)用。

%run

用％run函數(shù)在notebook中運(yùn)行一個(gè)python腳本試試。

%run file.py%%writefile

%% writefile是將單元格內(nèi)容寫入文件中。以下代碼將腳本寫入名為foo.py的文件并保存在當(dāng)前目錄中。

%%latex

%%latex函數(shù)將單元格內(nèi)容以LaTeX形式呈現(xiàn)。此函數(shù)對(duì)于在單元格中編寫數(shù)學(xué)公式和方程很有用。

交互式調(diào)試器也是一個(gè)神奇的功能，我把它單獨(dú)定義了一類。如果在運(yùn)行代碼單元時(shí)出現(xiàn)異常，請(qǐng)?jiān)谛滦兄墟I入％debug并運(yùn)行它。這將打開一個(gè)交互式調(diào)試環(huán)境，它能直接定位到發(fā)生異常的位置。還可以檢查程序中分配的變量值，并在此處執(zhí)行操作。退出調(diào)試器單擊q即可。

如果您想生成美觀的數(shù)據(jù)結(jié)構(gòu)，pprint是首選。它在打印字典數(shù)據(jù)或JSON數(shù)據(jù)時(shí)特別有用。接下來(lái)看一個(gè)使用print和pprint來(lái)顯示輸出的示例。

我們可以在您的Jupyter notebook中使用警示框/注釋框來(lái)突出顯示重要內(nèi)容或其他需要突出的內(nèi)容。注釋的顏色取決于指定的警報(bào)類型。只需在需要突出顯示的單元格中添加以下任一代碼或所有代碼即可。

藍(lán)色警示框：信息提示

     

       Tip: Use blue boxes (alert-info) for tips and notes.  If it’s a note, you don’t have to include the word “Note”. 
     

黃色警示框：警告

     

       Example: Yellow Boxes are generally used to include additional examples or mathematical formulas. 
     

綠色警示框：成功

     

       Use green box only when necessary like to display links to related content. 
     

紅色警示框：高危

     

      It is good to avoid red boxes but can be used to alert users to not delete some important part of code etc. 
     

假如有一個(gè)Jupyter Notebook的單元格，其中包含以下代碼行：

In  [1]: 10+5                    11+6Out [1]: 17

單元格的正常屬性是只打印最后一個(gè)輸出，而對(duì)于其他輸出，我們需要添加print()函數(shù)。然而通過(guò)在notebook頂部添加以下代碼段可以一次打印所有輸出。

添加代碼后所有的輸出結(jié)果就會(huì)一個(gè)接一個(gè)地打印出來(lái)。

In  [1]: 10+5                    11+6          12+7Out [1]: 15 Out [1]: 17 Out [1]: 19

恢復(fù)原始設(shè)置：

InteractiveShell.ast_node_interactivity = "last_expr"

從命令行運(yùn)行python腳本的典型方法是：python hello.py。但是，如果在運(yùn)行相同的腳本時(shí)添加-i，例如python -i hello.py，就能提供更多優(yōu)勢(shì)。接下來(lái)看看結(jié)果如何。

首先，即使程序結(jié)束，python也不會(huì)退出解釋器。因此，我們可以檢查變量的值和程序中定義的函數(shù)的正確性。

其次，我們可以輕松地調(diào)用python調(diào)試器，因?yàn)槲覀內(nèi)匀辉诮忉屍髦校?/span>

import pdbpdb.pm()

這能定位異常發(fā)生的位置，然后我們可以處理異常代碼。

Ctrl / Cmd + /自動(dòng)注釋單元格中的選定行，再次命中組合將取消注釋相同的代碼行。

你有沒有意外刪除過(guò)Jupyter notebook中的單元格？如果答案是肯定的，那么可以掌握這個(gè)撤消刪除操作的快捷方式。

如果您刪除了單元格的內(nèi)容，可以通過(guò)按CTRL / CMD + Z輕松恢復(fù)它。

如果需要恢復(fù)整個(gè)已刪除的單元格，請(qǐng)按ESC + Z或EDIT>撤消刪除單元格。

在本文中，我列出了使用Python和Jupyter notebook時(shí)收集的一些小提示。我相信它們會(huì)對(duì)你有用，能讓你有所收獲，從而實(shí)現(xiàn)輕松編碼！

相關(guān)報(bào)道：

https://towardsdatascience.com/10-simple-hacks-to-speed-up-your-data-analysis-in-python-ec18c6396e6b