今日份在螞蟻老師的vip群里，有一位群友提出一個(gè)需求

我馬上想到可以用所學(xué)的pandas相關(guān)知識(shí)解決

讓我們來(lái)看看群友的具體需求

我們根據(jù)群友的需求，構(gòu)造了出了相應(yīng)的表格數(shù)據(jù)

在這里，我在name字段下先設(shè)定了一些值

開始寫代碼！

首先引入numpy和pandas，這倆是數(shù)據(jù)分析領(lǐng)域必不可少的模塊

import?numpy?as?np
#?這行代碼的意思是通過(guò)設(shè)置固定的隨機(jī)數(shù)種子，讓你我生成的隨機(jī)數(shù)是一樣的
np.random.seed(666)
import?pandas?as?pd

#?讀取我們的excel文件
data?=?pd.read_excel("data.xlsx")

觀察數(shù)據(jù)，我們有十六名員工，除了姓名，其它都是空值

data

將空值用0到1之間的隨機(jī)數(shù)代替

def?initialize(item):
????#?如果發(fā)現(xiàn)當(dāng)前這個(gè)元素是空值，就用隨機(jī)數(shù)代替
????if?pd.isnull(item):
????????return?np.random.random()
????#?否則就原樣返回（對(duì)應(yīng)name那列）
????else:
????????return?item

通過(guò)applymap函數(shù)，將上面的自定義函數(shù)應(yīng)用到表格中的每一個(gè)數(shù)據(jù)上

new_data?=?data.applymap(initialize)

再來(lái)看看我們構(gòu)造好的數(shù)據(jù)new_data，發(fā)現(xiàn)已經(jīng)得到預(yù)期值了

new_data

接下來(lái)我想將上面的表格進(jìn)行自表連接，便于計(jì)算，所以設(shè)置了一個(gè)用于連接的公共字段one

new_data["one"]?=?1

new_data.head(5)

進(jìn)行自表連接，可以發(fā)現(xiàn)我們連接后的表有256行，也就是16*16，符合預(yù)期

需要注意的是，為了區(qū)分一左右兩個(gè)表的數(shù)據(jù)來(lái)源，會(huì)將來(lái)源于左表的字段加_x，來(lái)源于右表則加_y

new_data_merge?=?pd.merge(left=new_data,?right=new_data,?left_on="one",?right_on="one")

new_data_merge

256 rows × 25 columns

緊接著，我們看一下特征屬性，要剔除name字段以及用于自表連接的one字段

我們也可以通過(guò)修改columns里面的值，自定義關(guān)注哪些字段

columns?=?list(new_data.columns)
columns.remove("name")
columns.remove("one")
columns

['Java',
 'Python',
 'AS400',
 'ITID',
 'Oracle',
 'Bigdata',
 'SQL',
 'Leadership',
 'Management',
 'Creativity',
 'Communication']

計(jì)算相似度的函數(shù)

我們通過(guò)“歐式距離”來(lái)表征相似度，歐式距離越大，說(shuō)明兩者之間差距越大，相似度越小，反之亦然

def?similarity(row):
????#?傳進(jìn)來(lái)的row是表中的一行
????#?設(shè)定相似度的初始值是0
????sim_value?=?0.0
????#?取出一行當(dāng)中的每一個(gè)特征值
????#?相應(yīng)的特征值相減之后的結(jié)果再進(jìn)行平方，最后全部加起來(lái)，也就是“歐氏距離”的概念
????for?column?in?columns:
????????sim_value?+=?(float(row[column+"_x"])?-?float(row[column+"_y"]))**2
????return?sim_value

通過(guò)設(shè)定axis=1來(lái)指定對(duì)表格中的每一行進(jìn)行計(jì)算相似度的操作

new_data_merge["sim"]?=?new_data_merge.apply(similarity,?axis=1)

來(lái)看看計(jì)算后的表格，發(fā)現(xiàn)多了一個(gè)字段sim

new_data_merge.sample(15)

15 rows × 26 columns

然后，在自表連接的時(shí)候肯定有“自己連自己的情況”

也就是name_x字段的值等于name_y

這些是無(wú)意義的數(shù)據(jù)，剔除

new_data_merge?=?new_data_merge[new_data_merge["name_x"]?!=?new_data_merge["name_y"]].copy()

隨機(jī)選5條清理后的數(shù)據(jù)看看

new_data_merge.sample(5)

5 rows × 26 columns

找每個(gè)員工與他最相似的10個(gè)員工

def?get_top_student(df_sub):
????#?傳入的是清洗后的數(shù)據(jù)結(jié)果groupby后的子表，對(duì)應(yīng)單個(gè)員工的數(shù)據(jù)
????#?例如劉備與其他人連接的所有行，曹操與其他人連接的所有行
????
????#?對(duì)這個(gè)子表按sim值，也就是相似度進(jìn)行升序排序，取出前10條數(shù)據(jù)
????df_sort?=?df_sub.sort_values(by="sim",?ascending=True).head(10)
????#?將前十個(gè)人的名字取出
????names?=?",".join(list(df_sort["name_y"]))
????#?將前十個(gè)人的值相似度值取出
????sims?=?",".join([str(x)?for?x?in?list(df_sort["sim"])])
????#?打包成Series返回給調(diào)用它的地方
????return?pd.Series({"names":?names,?"sims":?sims})

對(duì)清洗后的表先按name_x進(jìn)行g(shù)roupby分組，對(duì)每一個(gè)分組，調(diào)用上述函數(shù)

result?=?new_data_merge.groupby("name_x").apply(get_top_student)

結(jié)果如下

例如，與關(guān)羽最相似的前十位依次是魯肅,司馬師,諸葛亮,劉備,曹操,魏延,姜維,徐庶,司馬昭,陸遜

相似值依次是 0.7735408527877448,1.0708763430514607,1.113466...

result

生成excel文件，方便觀看

result.to_excel("相似計(jì)算結(jié)果.xlsx",?index=True)

最后，推薦螞蟻老師的Pandas數(shù)據(jù)分析課程

課程名：《Python使用Pandas入門數(shù)據(jù)分析》

部分大綱：

掃碼購(gòu)買：

購(gòu)買課程后，加我vx：ant_learn_python，拉付費(fèi)VIP群

點(diǎn)擊《閱讀原文》，也可以到達(dá)課程頁(yè)面。