8 個(gè) Python 高效數(shù)據(jù)分析的技巧

點(diǎn)擊上方“小詹學(xué)Python”，選擇“星標(biāo)”公眾號(hào)

重磅干貨，第一時(shí)間送達(dá)

編譯：專知/Yingying, Jiahui，英文原作：Conor Dewey

不管是參加Kaggle比賽，還是開發(fā)一個(gè)深度學(xué)習(xí)應(yīng)用，第一步總是數(shù)據(jù)分析，這篇文章介紹了8個(gè)使用Python進(jìn)行數(shù)據(jù)分析的方法，不僅能夠提升運(yùn)行效率，還能夠使代碼更加“優(yōu)美”。
一行代碼定義List
定義某種列表時(shí)，寫For 循環(huán)過于麻煩，幸運(yùn)的是，Python有一種內(nèi)置的方法可以在一行代碼中解決這個(gè)問題。

下面是使用For循環(huán)創(chuàng)建列表和用一行代碼創(chuàng)建列表的對(duì)比。

x = [1,2,3,4]
out = []
for item in x:
 ? ?out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達(dá)式
厭倦了定義用不了幾次的函數(shù)？Lambda表達(dá)式是你的救星！Lambda表達(dá)式用于在Python中創(chuàng)建小型，一次性和匿名函數(shù)對(duì)象。它能替你創(chuàng)建一個(gè)函數(shù)。

lambda表達(dá)式的基本語法是：

lambda arguments: expression

請(qǐng)注意，只要有一個(gè)lambda表達(dá)式，就可以完成常規(guī)函數(shù)可以執(zhí)行的任何操作。你可以從下面的例子中，感受lambda表達(dá)式的強(qiáng)大功能：

double = lambda x: x * 2
print(double(5))
10

Map和Filter
一旦掌握了lambda表達(dá)式，學(xué)習(xí)將它們與Map和Filter函數(shù)配合使用，可以實(shí)現(xiàn)更為強(qiáng)大的功能。
具體來說，map通過對(duì)列表中每個(gè)元素執(zhí)行某種操作并將其轉(zhuǎn)換為新列表。在本例中，它遍歷每個(gè)元素并乘以2，構(gòu)成新列表。請(qǐng)注意，list()函數(shù)只是將輸出轉(zhuǎn)換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數(shù)接受一個(gè)列表和一條規(guī)則，就像map一樣，但它通過比較每個(gè)元素和布爾過濾規(guī)則來返回原始列表的一個(gè)子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。它的三個(gè)參數(shù)start、stop、step分別表示起始值，結(jié)束值和步長， 請(qǐng)注意，stop點(diǎn)是一個(gè)“截止”值，因此它不會(huì)包含在數(shù)組輸出中。

# np.arange(start, stop, step)
np.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似，但略有不同。Linspace以指定數(shù)目均勻分割區(qū)間。所以給定區(qū)間start和end，以及等分分割點(diǎn)數(shù)目num，linspace將返回一個(gè)NumPy數(shù)組。這對(duì)繪圖時(shí)數(shù)據(jù)可視化和聲明坐標(biāo)軸特別有用。

# np.linspace(start, stop, num)
np.linspace(2.0, 3.0, num=5)
array([ 2.0, ?2.25, ?2.5, ?2.75, 3.0])

Axis代表什么？
在Pandas中，刪除一列或在NumPy矩陣中求和值時(shí)，可能會(huì)遇到Axis。我們用刪除一列（行）的例子：

df.drop( Column A , axis=1)
df.drop( Row A , axis=0)

如果你想處理列，將Axis設(shè)置為1，如果你想要處理行，將其設(shè)置為0。但為什么呢？回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調(diào)用shape屬性返回一個(gè)元組，第一個(gè)值代表行數(shù)，第二個(gè)值代表列數(shù)。如果你想在Python中對(duì)其進(jìn)行索引，則行數(shù)下標(biāo)為0，列數(shù)下標(biāo)為1，這很像我們?nèi)绾温暶鬏S值。

Concat，Merge和Join
如果您熟悉SQL，那么這些概念對(duì)您來說可能會(huì)更容易。無論如何，這些函數(shù)本質(zhì)上就是以特定方式組合DataFrame的方式。在哪個(gè)時(shí)間跟蹤哪一個(gè)最適合使用可能很困難，所以讓我們回顧一下。
Concat允許用戶在表格下面或旁邊追加一個(gè)或多個(gè)DataFrame（取決于您如何定義軸）。?

Merge將多個(gè)DataFrame合并指定主鍵（Key）相同的行。

Join，和Merge一樣，合并了兩個(gè)DataFrame。但它不按某個(gè)指定的主鍵合并，而是根據(jù)相同的列名或行名合并。

Pandas Apply

pply是為Pandas Series而設(shè)計(jì)的。如果你不太熟悉Series，可以將它想成類似Numpy的數(shù)組。

Apply將一個(gè)函數(shù)應(yīng)用于指定軸上的每一個(gè)元素。使用Apply，可以將DataFrame列（是一個(gè)Series）的值進(jìn)行格式設(shè)置和操作，不用循環(huán)，非常有用！

df = pd.DataFrame([[4, 9],] * 3, columns=[ A ,  B ])
 df
 ? A ?B
0 ?4 ?9
1 ?4 ?9
2 ?4 ?9

df.apply(np.sqrt)
 ? ? A ? ?B
0 ?2.0 ?3.0
1 ?2.0 ?3.0
2 ?2.0 ?3.0

df.apply(np.sum, axis=0)
A ? ?12
B ? ?27

df.apply(np.sum, axis=1)
0 ? ?13
1 ? ?13
2 ? ?13

Pivot Tables
最后是Pivot Tables。如果您熟悉Microsoft Excel，那么你也許聽說過數(shù)據(jù)透視表。Pandas內(nèi)置的pivot_table函數(shù)以DataFrame的形式創(chuàng)建電子表格樣式的數(shù)據(jù)透視表,，它可以幫助我們快速查看某幾列的數(shù)據(jù)。下面是幾個(gè)例子：非常智能地將數(shù)據(jù)按照“Manager”分了組

pd.pivot_table(df, index=["Manager", "Rep"])

或者也可以篩選屬性值

pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])

總結(jié)
我希望上面的這些描述能夠讓你發(fā)現(xiàn)Python一些好用的函數(shù)和概念。
原文鏈接：https://towardsdatascience.com/python-for-data-science-8-concepts-you-may-have-forgotten-i-did-825966908393