重磅干貨，第一時間送達(dá)

完整學(xué)習(xí)教程已開源，開源鏈接：

https://github.com/datawhalechina/joyful-pandas

import pandas as pdimport?numpy?as?np# 加上這兩行可以一次性輸出多個變量而不用printfrom IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity?=?"all"# 查看版本pd.__version__pd.set_option('display.max_columns', None)

讀取

Pandas常用的有以下三種文件：

• csv文件

• txt文件

• xls/xlsx文件

讀取文件時的注意事項：

• 文件路徑是否正確，相對路徑 ./data

• 編碼方式 分隔符

• 列名

#讀取csv文件df = pd.read_csv('./data./table.csv')df.head()#讀取txt文件，直接讀取可能會出現(xiàn)數(shù)據(jù)都擠在一列上df_txt = pd.read_table('./data./table.txt')#df_txt = pd.read_table('./data./table.csv', sep=",")df_txt.head()#讀取xls/xlsx文件df_excel = pd.read_excel('./data./table.xlsx')df_excel.head()

寫入

將結(jié)果輸出到csx、txt、xls、xlsx文件中

df.to_csv('./new table.csv')df.to_excel('./new?table.xlsx')

Pandas處理的基本數(shù)據(jù)結(jié)構(gòu)有 Series 和 DataFrame。兩者的區(qū)別和聯(lián)系見下表：

Series

1. 創(chuàng)建

Series常見屬性有 values， index， name， dtype

s?=?pd.Series(np.random.randn(5),?index=['a','b','c','d','e'],???????????????name='this?is?a?series',?dtype='float64')

2. 訪問Series屬性

s.values, s.index, s.name, s.dtype

3.?取出某元素

通過索引取數(shù)或通過位置取數(shù)

s['a'], s[2:], s[1]

4.?調(diào)用方法

s.mean(), s.sum(), s.hist()

DataFrame

1. 創(chuàng)建

DataFrame基本屬性有 values、columns、index

df = pd.DataFrame({'col1':list('abcde'), 'col2':range(5,10),?????'col3':[1.3,2.5,3.6,4.6,5.8]},?index=list('一二三四五'))

2. 取一列/取一行

df['col1'], df[:1]type(df), type(df['col1']), type(df[:1]

3. 修改行或列名

df.rename(index={'一':'one'}, columns={'col1':'new_col1'})

4. 調(diào)用屬性和方法

df.index, df.columns, df.values, df.shape, df.mean()

5. 索引對齊特性

這是Pandas中非常強大的特性，在對多個DataFrame 進行合并或者加減乘除操作時，行和列的索引都重疊的時候才能進行相應(yīng)操作，否則會使用NA值進行填充。

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])df2?=?pd.DataFrame({'A':[1,2,3]},index=[3,1,2])df1-df2 #由于索引對齊，因此結(jié)果不是0

6. 列的刪除

對于刪除而言，可以使用drop函數(shù)或del或pop。

方法1：直接drop不會影響原DataFrame，設(shè)置inplace=True后會直接在原DataFrame中改動；

df.drop(index='五', columns='col1')

方法2：del會直接改變原Dataframe；

df['col1']=[1,2,3,4,5]del?df['col1']

方法3：pop方法直接在原來的DataFrame上操作，且返回被刪除的列，與python中的pop函數(shù)類。

df['col1']=[1,2,3,4,5]df.pop('col1')

7. 列的添加

方法1：直接新增；

df1['B']?=?list('abc')

方法2：用assign方法，不會改變原DataFrame；

df1.assign(C=pd.Series(list('def')))

方法3：df.assign 效果其實是左連接，之所以會出現(xiàn)NaN的情況，是因為C和df的索引不一致導(dǎo)致。打印一下可以看到，df的索引是1-3，而C默認(rèn)的是0-4。

C=pd.Series(list('def'))

8. 根據(jù)類型選擇列

df.select_dtypes(include=['number'])df.select_dtypes(include=['float'])

Series和DataFrame相互轉(zhuǎn)換

1. DataFrame轉(zhuǎn)換為Series

就是取某一列的操作

s = df.mean()s.name?=?'to_DataFrame'

2. Series轉(zhuǎn)換為DataFrame

使用to_frame() 方法

s.to_frame()# T符號可以進行轉(zhuǎn)置操作s.to_frame().T

首先，讀取數(shù)據(jù)

df = pd.read_csv('./data/table.csv')

1.?head & tail

用來顯示數(shù)據(jù)頭部或者尾部的幾行數(shù)據(jù)，默認(rèn)是5行。可以指定n參數(shù)顯示多少行

df.head()df.tail()df.head(6)

2. unique & nunique

unique顯示所有的唯一值是什么；nunique顯示有多少個唯一值。需要注意的是：需要在具體列上操作，本身DataFrame并沒有這兩個方法

df['Physics'].unique()df['Physics'].nunique()

3. count & value_counts

count返回非缺失值元素個數(shù)；value_counts返回每個元素有多少個值，也是作用在具體某列上

df['Physics'].count()df['Physics'].value_counts()

4. describe & info

info() 函數(shù)返回有哪些列、有多少非缺失值、每列的類型；describe() 默認(rèn)統(tǒng)計數(shù)值型數(shù)據(jù)的各個統(tǒng)計量，可以自行選擇分位數(shù)位置。非數(shù)值型特征需要單獨調(diào)用describe方法。

df.info()df.describe()# describe()可以自行選擇分位數(shù)位置df.describe(percentiles=[.05,?.25,?.75,?.95])# 非數(shù)值型特征需要單獨調(diào)用describe方法df['Physics'].describe()

5. idxmax & nlargest

idxmax函數(shù)返回最大值對應(yīng)的索引，在某些情況下特別適用，idxmin功能類似；nlargest函數(shù)返回前幾個大的元素值，nsmallest功能類似，需要指定具體列

df['Math'].idxmax()df['Math'].max()df['Math'].nlargest(2)

6. clip & replace

clip和replace是兩類替換函數(shù)：

• clip是對超過或者低于某些值的數(shù)進行截斷，numpy.clip(a, a_min, a_max, out=None)

• replace是對某些值進行替換

df['Math'].head()# 低于33的全都顯示為33， 高于80的全都顯示為80df['Math'].clip(33,80).head() df['Math'].mad()
df['Address'].head()df['Address'].replace(['street_1','street_2'],['one','two']).head()
# 還可以通過字典方式修改df.replace({'Address':{'street_1':'one','street_2':'two'}}).head(

7. apply

apply和匿名函數(shù) lambda結(jié)合使用，可以很方便的進行一些數(shù)據(jù)處理。對于Series，它可以迭代每一列的值(行)操作；對于DataFrame，它可以迭代每一個列操作。

# 遍歷Math列中的所有值，添加！df['Math'].apply(lambda x:str(x)+'!').head()  # 先是遍歷所有列，然后遍歷每列的所有的值，添加！df.apply(lambda?x:x.apply(lambda?x:str(x)+'!')).head()

1. 索引排序

 #set_index函數(shù)可以設(shè)置索引，將在下一章詳細(xì)介紹df.set_index('Math').head() #可以設(shè)置ascending參數(shù)，默認(rèn)為升序，Truedf.set_index('Math').sort_index().head()

2. 值排序

df.sort_values(by='Class').head()df.sort_values(by=['Address','Height']).head()

問題

1. Series和DataFrame有哪些常見屬性和方法？

• Series

• DataFrame

2. value_counts會統(tǒng)計缺失值嗎？

? ? 答：value_counts不會統(tǒng)計缺失值。

3.?與idxmax和nlargest功能相反的是哪兩組函數(shù)？

? ? 答：idxmin和nsmallest。

4. 在常用函數(shù)一節(jié)中，由于一些函數(shù)的功能比較簡單，因此沒有列入，現(xiàn)在將它們列在下面，請分別說明它們的用途并嘗試使用。

5. df.mean(axis=1)是什么意思？它與df.mean()的結(jié)果一樣嗎？第一問提到的函數(shù)也有axis參數(shù)嗎？怎么使用？

?答：df.mean(axis=1)意思是對df按列求均值；axis = 0表示保持列標(biāo)簽不變，對行進行操作；axis = 1表示保持行標(biāo)簽不變，對列進行操作。

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群（以后會逐漸細(xì)分），請掃描下面微信號加群，備注：”昵稱+學(xué)校/公司+研究方向“，例如：”張三?+?上海交大?+?視覺SLAM“。請按照格式備注，否則不予通過。添加成功后會根據(jù)研究方向邀請進入相關(guān)微信群。請勿在群內(nèi)發(fā)送廣告，否則會請出群，謝謝理解~