Pandas中的這3個(gè)函數(shù)，沒想到竟成了我數(shù)據(jù)處理的主力

數(shù)據(jù)處理環(huán)節(jié)無非就是各種數(shù)據(jù)清洗，除了常規(guī)的缺失值和重復(fù)值處理邏輯相對(duì)較為簡(jiǎn)單，更為復(fù)雜的其實(shí)當(dāng)屬異常值處理以及各種數(shù)據(jù)變換：例如類型轉(zhuǎn)換、簡(jiǎn)單數(shù)值計(jì)算等等。在這一過程中，如何既能保證數(shù)據(jù)處理效率而又不失優(yōu)雅，Pandas中的這幾個(gè)函數(shù)堪稱理想的解決方案。

為展示應(yīng)用這3個(gè)函數(shù)完成數(shù)據(jù)處理過程中的一些demo，這里以經(jīng)典的泰坦尼克號(hào)數(shù)據(jù)集為例。需要下載該數(shù)據(jù)集和文中示例源碼的可后臺(tái)回復(fù)關(guān)鍵字apply獲取下載方式。

在學(xué)習(xí)apply具體應(yīng)用之前，有必要首先闡釋apply函數(shù)的方法論。apply英文原義是"應(yīng)用"的意思，作為編程語言中的函數(shù)名，似乎在很多種語言都有體現(xiàn)，比如近日個(gè)人在學(xué)習(xí)Scala語言中apply被用作是伴生對(duì)象中自動(dòng)創(chuàng)建對(duì)象的缺省實(shí)現(xiàn)，如此重要的角色也可見apply這個(gè)函數(shù)的重要性。那么apply應(yīng)用在Pandas中，其核心功能其實(shí)可以概括為一句話：

apply：我本身不處理數(shù)據(jù)，我們只是數(shù)據(jù)的搬運(yùn)工。

• 調(diào)度什么？調(diào)度的是apply函數(shù)接收的參數(shù)，即apply接收一個(gè)數(shù)據(jù)處理函數(shù)為主要參數(shù)，并將其應(yīng)用到相應(yīng)的數(shù)據(jù)上。所以調(diào)度什么取決于接收了什么樣的數(shù)據(jù)處理函數(shù)；
• 為誰調(diào)度？也就是apply接收的數(shù)據(jù)處理函數(shù)，其作用對(duì)象是誰？或者說數(shù)據(jù)處理的粒度是什么？答案是數(shù)據(jù)處理的粒度包括了點(diǎn)線面三個(gè)層面：即可以是單個(gè)元素（標(biāo)量，scalar），也可以是一行或一列（series），還可以是一個(gè)dataframe。

當(dāng)然，這些文字描述肯定還比較抽象，那么不妨直接進(jìn)入正題：talk is cheap，show me the code！

前面提到，理解apply核心在于明確兩個(gè)環(huán)節(jié)：調(diào)度函數(shù)和作用對(duì)象。調(diào)度函數(shù)就是apply接收的參數(shù)，既可以是Python內(nèi)置的函數(shù)，也支持自定義函數(shù)，只要符合指定的作用對(duì)象（即是標(biāo)量還是series亦或一個(gè)dataframe）即可。而作用對(duì)象則取決于調(diào)用apply的對(duì)象類型，具體來說：

• 一個(gè)Series對(duì)象調(diào)用apply時(shí)，數(shù)據(jù)處理函數(shù)作用于該Series的每個(gè)元素上，即作用對(duì)象是一個(gè)標(biāo)量，實(shí)現(xiàn)從一個(gè)Series轉(zhuǎn)換到另一個(gè)Series；

• 一個(gè)DataFrame對(duì)象調(diào)用apply時(shí)，數(shù)據(jù)處理函數(shù)作用于該DataFrame的每一行或者每一列上，即作用對(duì)象是一個(gè)Series，實(shí)現(xiàn)從一個(gè)DataFrame轉(zhuǎn)換到一個(gè)Series上；

• 一個(gè)DataFrame對(duì)象經(jīng)過groupby分組后調(diào)用apply時(shí)，數(shù)據(jù)處理函數(shù)作用于groupby后的每個(gè)子dataframe上，即作用對(duì)象還是一個(gè)DataFrame（行是每個(gè)分組對(duì)應(yīng)的行；列字段少了groupby的相應(yīng)列），實(shí)現(xiàn)從一個(gè)DataFrame轉(zhuǎn)換到一個(gè)Series上。
  

其中，這里apply接收了一個(gè)lambda匿名函數(shù)，通過一個(gè)簡(jiǎn)單的if-else邏輯實(shí)現(xiàn)數(shù)據(jù)映射。該功能十分簡(jiǎn)單，接收的函數(shù)也不帶任何其他參數(shù)。

②下面再來一個(gè)稍微復(fù)雜一點(diǎn)的案例，注意到年齡age列當(dāng)前數(shù)據(jù)類型是小數(shù)，需要將其轉(zhuǎn)換為整數(shù)，同時(shí)還有0.9167這種過小的年齡，所以要求接受一個(gè)函數(shù)，支持接受指定的最大和最小年齡限制，當(dāng)數(shù)據(jù)中超出此年齡范圍的統(tǒng)一用截?cái)嗵畛?，同時(shí)由于原數(shù)據(jù)集中age列存在缺失值，還需首先進(jìn)行缺失值填充。這里首先實(shí)現(xiàn)一個(gè)自定義函數(shù)用于實(shí)現(xiàn)指定的年齡處理功能：

def get_age(age, max_age, min_age):    age = int(age)  # 轉(zhuǎn)換為整數(shù)    if age > max_age:        age = max_age    if age < min_age:        age = min_age    return age

2. 應(yīng)用到DataFrame的每個(gè)Series

DataFrame是pandas中的核心數(shù)據(jù)結(jié)構(gòu)，其每一行和每一列都是一個(gè)Series數(shù)據(jù)類型。那么應(yīng)用apply到一個(gè)DataFrame的每個(gè)Series，自然存在一個(gè)問題是應(yīng)用到行還是列的問題，所以一個(gè)DataFrame調(diào)用apply函數(shù)時(shí)需要指定一個(gè)axis參數(shù)，其中axis=0對(duì)應(yīng)行方向的處理，即對(duì)每列應(yīng)用apply接收函數(shù)；axis=1對(duì)應(yīng)列方向處理，即對(duì)每行應(yīng)用接收函數(shù)。默認(rèn)為axis=0。這里仍然舉兩個(gè)小例子：

①取所有數(shù)值列的數(shù)據(jù)最大值。當(dāng)然，這個(gè)處理其實(shí)可以直接調(diào)用max函數(shù)，但這里為了演示apply應(yīng)用，所以不妨照此嘗試：

上述apply函數(shù)完成了對(duì)四個(gè)數(shù)值列求取最大值，其中缺省axis參數(shù)為0，對(duì)應(yīng)行方向處理，即對(duì)每一列數(shù)據(jù)求最大值。

②然后來一個(gè)按行方向處理的例子，例如根據(jù)性別和年齡，區(qū)分4類人群：即女孩、成年女子、男孩、成年男子，其中年齡以18歲為界值進(jìn)行區(qū)分。首先給出人群劃分的函數(shù)實(shí)現(xiàn)：

def cat_person(sr):    if sr['sex_num'] == 0:        if sr['age_num'] < 18:            return '女孩'        else:            return '成年女子'    else:        if sr['age_num'] < 18:            return '男孩'        else:            return '成年男子'

其中apply接收一個(gè)lambda匿名函數(shù)，該匿名函數(shù)接收一個(gè)dataframe為參數(shù)（該dataframe中不含pclass列），并提取survived列和age_num列參與計(jì)算。最后得到每個(gè)艙位等級(jí)的一個(gè)統(tǒng)計(jì)指標(biāo)結(jié)果，返回類型是一個(gè)Series對(duì)象。

這里，再補(bǔ)充一個(gè)前期分享過的一片推文：Pandas用的6不6，來試試這道題就能看出來，實(shí)際上也是實(shí)現(xiàn)了相同的分組聚合統(tǒng)計(jì)功能。

以上，可以梳理apply函數(shù)的執(zhí)行流程：首先明確調(diào)用apply的數(shù)據(jù)結(jié)構(gòu)類型，是Series還是DataFrame，如果是DataFrame還需進(jìn)一步確定是直接調(diào)用apply還是經(jīng)過groupby分組之后調(diào)用，其中前者對(duì)應(yīng)apply的接收函數(shù)處理一行或一列，后者對(duì)應(yīng)接收函數(shù)處理每個(gè)分組對(duì)應(yīng)的子DataFrame，最后根據(jù)作用對(duì)象類型設(shè)計(jì)相應(yīng)的接收函數(shù)，從而完成個(gè)性化的數(shù)據(jù)處理。

前面介紹了apply的三種應(yīng)用場(chǎng)景，作用對(duì)象分別對(duì)應(yīng)元素、Series以及DataFrame，可以說功能已經(jīng)非常強(qiáng)大了。除了apply之外，pandas其實(shí)還提供了兩個(gè)功能極為相近的函數(shù)：map和applymap，不過相較于功能強(qiáng)大的apply來說，二者功能則相對(duì)局限。具體而言，二者分別實(shí)現(xiàn)功能如下：

從某種角度來講，這種變換得以實(shí)施的前提是該DataFrame的各列元素具有相同的數(shù)據(jù)類型和相近的業(yè)務(wù)含義，否則運(yùn)用相同的數(shù)據(jù)變換很難保證實(shí)際效果。

• apply、map和applymap常用于實(shí)現(xiàn)Pandas中的數(shù)據(jù)變換，通過接收一個(gè)函數(shù)實(shí)現(xiàn)特定的變換規(guī)則；

• apply功能最為強(qiáng)大，可應(yīng)用于Series、DataFrame以及DataFrame分組后的group DataFrame，分別實(shí)現(xiàn)元素級(jí)、Series級(jí)以及DataFrame級(jí)別的數(shù)據(jù)變換；

• map僅可作用于Series實(shí)現(xiàn)元素級(jí)的變換，既可以接收一個(gè)字典完成變化也可接收特定的函數(shù)，而且不僅可作用于普通的Series類型，也可用于索引列的變換，而索引列的變換是apply所不能應(yīng)用的；

• applymap僅可用于DataFrame，接收一個(gè)函數(shù)實(shí)現(xiàn)對(duì)所有數(shù)據(jù)實(shí)現(xiàn)元素級(jí)的變換
  

相關(guān)閱讀：

• 寫在1024：一名數(shù)據(jù)分析師的修煉之路
  

• 數(shù)據(jù)科學(xué)系列：sklearn庫主要模塊簡(jiǎn)介
  

• 數(shù)據(jù)科學(xué)系列：seaborn入門詳細(xì)教程
  

• 數(shù)據(jù)科學(xué)系列：pandas入門詳細(xì)教程

• 數(shù)據(jù)科學(xué)系列：matplotlib入門詳細(xì)教程

• 數(shù)據(jù)科學(xué)系列：numpy入門詳細(xì)教程